本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
在逻辑回归中,损失函数的推导是一个重要的知识点,
本文给出逻辑回归损失函数的详细过程,包括常用形式和交叉熵形式
本节从最大似然角度推导逻辑回归的损失函数
本节摘要
逻辑回归的模型表达式如下
备注:这里的X代表,最后的1用于替代b。
逻辑回归的损失函数为交叉熵损失函数,如下:
下面我们讲述逻辑回归的损失函数如何通过最大似然法推导出来
样本评估正确的概率
由于使用的是最大似然法推导逻辑回归的损失函数,因此需要先推导出样本评估正确的概率
我们不妨先推导单个样本评估正确的概率,再算出整体样本评估正确的概率,具体如下
单个样本评估正确的概率
先看单个样本评估正确的概率
模型对单个样本评估正确的概率 为:
解释:
逻辑回归的输出就是属于类别1的概率,
真实值 y为1 时, P就是评估正确的概率
真实值 y为0时,P是错误的概率,1-P 就是模型正确的概率
----------------------------------------------------
巧妙的操作是,可以用一条式子把上述二式合并如下
解释:
当y=1时,第二个括号等于1
当y=0时,第一个括号等于0
化简后与上述两式一致
所有样本评估正确的概率
假设每个样本是独立事件,
则总评估正确的概率为所有样本评估正确的积:
逻辑回归-损失函数
我们期待 最大化,只要将损失函数设计成 即可。
又由于 中含 有大量的乘号,为计算方便,我们外套一个对数
最后,损失函数设计如下:
备注:化简的具体过程见本文第2节
✍️关于加对数ln的说明
在连乘的情况下,使用对数使其转为连加是常用的操作
因为对数是单调函数,能让P最大化的W,同样会是令lnP最大化的W
逻辑回归损失函数-设计思路总结
逻辑回归损失函数设计的整体思路为:
这种思路设计的损失函数也叫最大似然损失函数
本节补充上节逻辑回归损失函数的化简过程的具体细节
本节的推导目标
本节的推导目标是将损失函数从原始形式化简为最终形式
即将逻辑回归损失函数的原始形式
化简成逻辑回归损失函数的最终形式
逻辑回归损失函数-化简过程
逻辑回归损失函数的化简化过具体如下:
本节补充逻辑回归损失函数的交叉熵形式及其推导
逻辑回归损失函数-交叉熵形式
逻辑回归的损失函数还有一种非常常见的形式,如下:
它称为逻辑回归损失函数的交叉熵形式
逻辑回归损失函数-交叉熵形式推导过程
下面从逻辑回归损失函数的原始形式推导出交叉熵形式
推导过程如下:
✍️补充:关于逻辑回归损失函数的交叉熵形式
虽然上面由逻辑回归损失函数的最大似然形式推导出交叉熵形式
但上述的推导仅是为了说明交叉熵形式与最大似然形式的一致性
而逻辑回归损失函数的交叉熵的意义和由来在学习了熵的内容后再进行补充
以上就是逻辑回归损失函数的全部推导过程了~
End