本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
本文介绍逻辑回归的损失函数的推导,
并补充逻辑回归损失函数一些不同的常用的表达形式
本节先梳理逻辑回归损失函数的推导思路
逻辑回归模型回顾
逻辑回归模型的表达式为:
模型输出 P(X) 范围的为(0,1),
它代表的意义是判为1类标签的概率
逻辑回归损失函数的推导思路
逻辑回归损失函数,可以基于交叉熵的概念,也可以基于最大似然的概念进行推导
本文基于最大似然的概念进行推导,其主要思路如下
1.先推导出所有样本评估正确的概率
2.将进行化简取反,就是逻辑回归的损失函数
本节推导逻辑回归中所有样本评估正确的概率
单个样本评估正确的概率
模型对单个样本评估正确的概率 为:
解释:逻辑回归的输出P代表样本属于类别1的概率,
真实值 y为1 时, P就是评估正确的概率 ;
真实值 y为0时,P是错误的概率,1-P 就是模型正确的概率
巧妙的操作是,可以用一条式子把上述二式合并如下
解释: 当y=1时,第二个括号等于1,当y=0时,第一个括号等于0,化简后与上述两式一致
所有样本评估正确的概率
假设每个样本是独立事件,
则总评估正确的概率为所有样本评估正确的积:
本节将上述的"所有样本预测正确的概率"进行变形,从而得到逻辑回归的损失函数
逻辑回归损失函数-推导思想与结果
我们期待 最大化,而损失函数是最小化,
只要将损失函数设计成 即可。
又由于 中含 有大量的乘号,
为计算方便,我们外套一个对数
最后,损失函数设计如下:
✍️ 附:详细推导过程
完整化简过程如下:
本节总结逻辑回归损失函数的推导结果与推导过程
损失函数推导过程总结
逻辑回归损失函数的最终推导结果如下:
逻辑回归损失函数设计的整体思路如下:
这种思路设计的损失函数也叫最大似然损失函数
End