【番外】线性回归和逻辑回归的 MLE 视角

线性回归

z=wTx+bz = w^T x + b,得到:

y=z+ϵ, ϵN(0,σ2)y = z + \epsilon, \, \epsilon \sim N(0, \sigma^2)

于是:

yxN(z,σ2)y|x \sim N(z, \sigma^2)

为啥是 yxy|x,因为判别模型的输出只能是 yxy|x

它的概率密度函数:

fYX(y)=12πσexp((yz)22σ2)=Aexp(B(yz)2), A,B>0f_{Y|X}(y)=\frac{1}{\sqrt{2 \pi} \sigma} \exp(\frac{-(y -z)^2}{2\sigma^2}) \\ = A \exp(-B (y - z)^2), \, A, B > 0

计算损失函数:

L=ilogfYX(y(i))=i(logAB(y(i)z(i))2)=Bi(y(i)z(i))2+CL = -\sum_i \log f_{Y|X}(y^{(i)}) \\ = -\sum_i(\log A - B(y^{(i)} - z^{(i)})^2) \\ = B \sum_i(y^{(i)} - z^{(i)})^2 + C

所以 minL\min L 就相当于 min(y(i)z(i))2\min (y^{(i)} - z^{(i)})^2。结果和最小二乘是一样的。

逻辑回归

z=wTx+b,a=σ(z)z = w^T x + b, a = \sigma(z),我们观察到在假设中:

P(y=1x)=aP(y=0x)=1aP(y=1|x) = a \\ P(y=0|x) = 1 - a

也就是说:

yxB(1,a)y|x \sim B(1, a)

其实任何二分类器的输出都是伯努利分布。因为变量只能取两个值,加起来得一,所以只有一种分布。

它的概率质量函数(因为是离散分布,只有概率质量函数,不过无所谓):

pYX(y)=ay(1a)1yp_{Y|X}(y) = a^y(1-a)^{1-y}

然后计算损失函数:

L=ilogpYX(y(i))=i(y(i)loga(i)+(1y(i))log(1a(i)))L = -\sum_i \log p_{Y|X}(y^{(i)}) \\ = -\sum_i(y^{(i)} \log a^{(i)} + (1-y^{(i)})\log(1-a^{(i)}))

和交叉熵是一致的。

可以看出,在线性回归的场景下,MLE 等价于最小二乘,在逻辑回归的场景下,MLE 等价于交叉熵。但不一定 MLE 在所有模型中都是这样。

展开阅读全文
©️2020 CSDN 皮肤主题: 黑客帝国 设计师: 上身试试 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值