前言:本文分析了线性回归和逻辑回归区别,简介激活函数sigmoid,最后举例说明了通过似然估计(似然最大)->推导出loss(loss最小)。进而梯度下降得到参数。
一.逻辑回归和线性回归。
线性回归:回归问题。
逻辑回归:解决基于线性回归的分类问题。
比较:逻辑回归在线性回归上+一个sigmoid函数。将线性回归变成输出0-1的二分类问题。
二.sigmoid函数。
三.区别。
1.线性回归预测连续的变量(股票走势)
逻辑回归预测离散的变量(分类问题)
2.线性回归是拟合函数。
逻辑回归是预测函数。
3.线性回归的参数计算方法是最小二乘法。
逻辑回归参数计算方法是似然估计的方法。
4.线性回归要求正态分布。
逻辑回归对分布没有要求。
四.似然估计逻辑回归参数(例子)
首先似然估计,就是假设分布已知(maybe通过画图知道),然后去估计该分布参数的方法,除了似然估计还有矩估计,区间估计等概率论方法。
首先拥有一个是数据集,上面是样本,下面是类别。
我们现在就假设已知它的分布就是伯努利分布(等等),然后就用似然估计去估计这个分布的参数,而似然呢,就是这个参数估计值是参数的可能性,而这里对应下来就是对x1是c1,x2是c1,x3是c2…所有样本得到正确分类的概率最大,
那么所有样本得到正确分类的概率相乘,也就是似然。
我们希望这个w,b的参数估计值,就是能获得最大化似然的那个参数。也就是:
log又可以把之前的乘积和,转换成加法:
最大似然就变成了一个最小loss问题,继而进行梯度下降即可。
参考
https://blog.csdn.net/AugustMe/article/details/111245004
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net