算法一篇入门

【算法】一篇入门之-信息熵是什么

作者 : 老饼 发表日期 : 2023-12-27 20:49:29 更新日期 : 2024-10-05 18:28:19
本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com



信息熵是机器学习中一个常用的基本概念,它是信息量的延伸概念

信息熵一般用于表示事件的混沌性,在逻辑回归和决策树等模型都涉及到信息熵的相关知识

本文讲解信息熵、香农信息熵等相关概念与计算公式,以及信息熵的意义,快速了解信息熵是什么意思




     01. 信息熵是什么      



本节介绍信息熵的定义和信息熵的计算公式




   信息熵的定义与计算公式   


信息熵是机器学习中常用的概念,信息熵通俗来说就是信息量的期望
有n种取值取值为的概率为,则x的信息量期望称为信息熵
 信息熵计算公式如下:
 

特别地,当取为香农信息量时,称为香农信息熵
香农信息熵公式如下:

  
✍️信息熵举例说明 
假设已知一个人的性别为男、女的概率分别为
 信息熵计算例子解说
那么对任意一个人,在知道他是男/女的时候,分别获得信息量
因此,在知道性别时获得的信息量期望为,即信息熵





 

    02. 信息熵的意义与用途     




本节介绍信息熵常用的意义与作用




   信息熵的用途-变量价值判断   


信息熵在机器学习中的应用无处不在,其中一个就是用来判断变量的价值
假设有两个变量,我们只能知道其中一个变量的值,那么,我们应该选择知道哪一个呢?
此时,可以根据变量的信息熵来判断变量的价值,它代表知道变量的值时所获得的信息量期望
 信息熵的用途-判别变量价值
因此在评估变量价值时,往往可以用信息熵来对变量的价值进行量化,信息熵越大说明价值越大




       信息熵的用途-评估混沌性     


信息熵在机器学习中常常用来评估混沌性,例如评估y的混沌性
 
当我们对一个事件越不确定、越混沌时,在得知该事件的确切值时期望获得的信息量就越多
 信息量用于评估事件的混沌性
即如果事件对于我们越混沌,我们对事件的掌握越少,事件所包含的信息熵就会越大
  因此,机器学习中常用信息熵来评估一个事件的混沌程度,或者我们对事件的掌握程度
 1. 对事件的评估                                                                                                
信息熵越小,代表事件越清晰,事件的信息熵越大,代表事件本身越混沌   
 2. 评估我们对事件的掌握程度                                                                            
事件的信息熵越大,代表我们对事件的掌握程度越小                                 
事件的信息熵越小,代表我们对事件的掌握程度越大                                 
这里的“事件”在机器学习中一般是指样本的真实y值,因此熵就是我们对y值的掌握程度
机器学习的模型往往就是将X转换为y的信息,去进一步掌握y,了解y,降低我们对于y的混沌性






好了,信息量的概念与意义就写到这了~







  End  


   



联系老饼