本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
交叉熵损失函数是机器学习分类模型中常用的一种交叉熵损失函数
本文讲解交叉熵损失函数的公式及推导,以及交叉熵损失函数在模型为二分类时的形式
通过本文可以更加具体、详细地了解交叉熵损失函数
本节讲解分类模型中的交叉熵损失函数的定义及计算公式
什么是分类模型的交叉熵损失函数
分类模型的交叉熵损失函数是基于信息量、交叉熵等概念上建立起来的一种损失函数
分类模型中的交叉熵指:
👉基于模型的判断结果,在知道样本真实类别时,所获得的信息量的期望
信息量往往代表着惊讶程度,如果模型预测准确的话,那么知道真实标签时,我们当然不会惊讶,
如果惊讶程度越大,说明真实标签大大出乎模型的意料之外,因此,交叉熵代表了模型的准确程度
我们希望交叉熵越小越好,因此,一般把交叉熵作为模型的损失函数,称为交叉熵损失函数
交叉熵损失函数计算公式-定义形式
不妨记第i个样本的真实类别标签为,模型判断第i样本属于类别的概率为
按交叉熵损失函数的定义,可易得交叉熵损失函数计算公式的定义形式如下
交叉熵损失函数计算公式-定义形式:
其中, :样本个数
:模型判断第i个样本属于类别k的概率,k是样本的真实标签
✍️交叉熵损失函数计算公式解读
上述公式是较好理解的,在知道第i个样本真实标签时,获得的信息量为
则所有样本的信息量均值就是信息量期望的估算,也就是交叉熵的估算
交叉熵损失函数计算公式
交叉熵损失函数在计算时为了计算更加方便
往往是先计算出每个类别的信息量期望,再对所有类别进行求和
因此,交叉熵损失函数在实际计算时往往使用的是如下形式:
交叉熵损失函数计算公式-计算形式:
其中,K :类别个数
:第i个样本的真实类别标签
:模型判断第i样本属于第k类的概率
本节讲解交叉熵损失函数在二分类时的形式
逻辑回归模型的损失函数使用的就是该形式
二分类模型的交叉熵损失函数-推导过程
特别地,在二分类模型中,
一般将类别标签记为0/1两类,然后模型输出样本属于1类的概率
则有:👉1. 模型评估0类的样本属于0类的概率为:
👉2. 模型评估1类的样本属于1类的概率为:
则基于模型的判断结果,在知道样本的真实类别标签时,
所获得的信息量的期望(交叉熵)为:
二分类模型的交叉熵损失函数-总结
总的来说,二分类模型的交叉熵损失函数如下:
其中,:样本个数
:第i个本样的真实类别标签
:模型判断第个i样本属于第1类的概率
二分类交叉熵损失函数的意义解读如下:
总的来说,交叉熵损失函数就是希望在模型的预测下,在知道样本真实标签时所受的惊讶越小越好
好了,交叉熵损失函数的公及及推导就讲到这里了~
End