老饼讲解-深度学习 机器学习 神经网络 深度学习
经典CNN模型
1.LeNet与ALexNet网络
2.VGG网络
3.GoogLeNet-Inception
4.ResNet

【原理】平滑标签交叉熵损失函数是什么

作者 : 老饼 发表日期 : 2023-07-28 10:50:59 更新日期 : 2024-01-19 11:06:42
本站原创文章,转载请说明来自《老饼讲解-深度学习》www.bbbdata.com



平滑标签交叉熵损失函数属于交叉熵损失函数的一种改进,它出自inception-V3模型的原文

本文讲解平滑标签-交叉熵损失函数的计算公式,以及讲解它的意义,通过本文可以具体地掌握平滑标签-交叉熵损失函数




    01. 平滑标签-交叉熵损失函数计算公式    




本节展示平滑标签交叉熵损失函数的具体计算公式




    交叉熵损失函数-平滑标签形式    


平滑标签-交叉熵损失函数出自论文《Rethinking the Inception Architecture for Computer Vision
它在交叉熵损失函数的基础上,降低对样本标签的信任程度,属于交叉熵损失函数的一种正则化改进
平滑标签交叉熵损失函数的计算公式如下:
              
 其中    
 :样本个数                                                           
 :类别个数                                                           
 :第i个样本的真实类别                                         
 :第i个样本属于第k个类别的预测概率                    
   :平滑系数,一般设为0.1                                     






    02. 如何理解平滑标签    




本节讲解应该如何理解平滑标签交叉熵损失函数

包括平滑标签交叉熵损失函数的推导、讲解以及平滑标签的意义




      平滑标签交叉熵损失函数-公式解读      


交叉熵损失函数与平滑标签交叉熵-公式对比
交叉熵损失函数与平滑标签交叉熵的公式分别如下:
交叉熵损失函数公式为:                                                
平滑标签交叉熵公式为:     
可以看到,平滑形式只是将改为了  

平滑标签交叉熵损失函数的解读
我们知道,是知道第i个样本是k类时,所带来的信息量(震惊程度)
如果样本的采样标签并不准确,我们不信任采样标签,那么样本可能是任意一个类别
则在知道样本真实类别时,所带来的信息量期望为  
平滑标签将“相信采样标签”与"不相信采样标签"两种情况进行加权,作为第i个样本的信息量
 平滑标签交叉熵损失函数公式解读
 总的来说,平滑标签交叉熵就是在交叉熵的基础上,考虑了采样不准确,不信任采样标签的情况





      平滑标签交叉熵损失函数的意义     


平滑标签交叉熵损失函数考虑了采样不准确的场景,降低样本标签的“自信”,
这样做是为了使模型更加平滑,增强模型的泛化能力
 平滑标签交叉熵损失函数的意义
也就是说,平滑标签交叉熵损失函数相当于交叉熵损失函数的一种正则化形式
其中是对交叉熵损失函数所引入的正则项





好了,平滑标签交叉熵损失函数就介绍到这里




.



 End 





联系老饼