本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
逻辑回归模型使用交叉熵损失函数,它可以由最大似然推导得到
本文讲解如何使用最大似然推导逻辑回归的交叉熵损失函数,以及化为另一种形式
通过本文,可以具体了解逻辑回归损失函数如何通过最大似然得到的,以及推导过程
本节从最大似然角度推导逻辑回归的损失函数
逻辑回归模型与损失函数
逻辑回归模型的数学表达式如下:
逻辑回归的损失函数为交叉熵损失函数,如下:
它还有另一种常见形式,如下:
下面我们讲述如何通过最大似然法推导出逻辑回归的两种损失函数
逻辑回归损失函数推导-最大似然法
最大似然法推导逻辑回归的损失函数具体过程如下:
一、单个样本评估正确的概率
模型对单个样本评估正确的概率 为:
可以巧妙地用一条式子把上述二式合并,如下:
二、所有样本评估正确的概率
假设每个样本是独立事件,则所有样本评估正确的概率为:
三、逻辑回归的损失函数
我们希望 最大化,只需将损失函数设计成 即可
又由于中含 有大量的乘号,为计算方便,外套一个对数ln
即可得到:
进一步化简即有:
这样就得到了逻辑回归的交叉熵损失函数
✍️ 逻辑回归损失函数第二种形式
下面将逻辑回归损失函数的交叉熵形式化为另一种形式
具体过程如下:
这样就得到了逻辑回归的第二种形式
以上就是逻辑回归损失函数的全部推导过程了~
End