【概念】信息熵是什么

本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com

信息熵是机器学习中一个常用的基本概念，它是信息量的延伸概念

信息熵一般用于表示事件的混沌性，在逻辑回归和决策树等模型都涉及到信息熵的相关知识

本文讲解信息熵、香农信息熵等相关概念与计算公式，以及信息熵的意义，快速了解信息熵是什么意思

   01. 信息熵是什么      

本节介绍信息熵的定义和信息熵的计算公式

   信息熵的定义与计算公式   

如果已知 x 有 n 种取值，且知道每种取值的概率，
 则定义 x 的信息量期望为信息熵
信息熵的计算公式如下：
 
特别地，当h(x)取为香农信息量时，称为香农信息熵
香农信息熵公式如下：
  

✍️信息熵举例说明 
假设已知一个人的性别为男、女的概率分别为
那么，来了一个人，
此人是男的概率为，当我们真正知道他是男的时候，带来的信息量为,
此人是女的概率为，当我们真正知道她是女的时候，带来的信息量为,
所以，期望获得的信息量为
最后，把"知道x的真实值"所获得的信息量h的期望称为x的熵

   02. 信息熵的意义    

本节介绍信息熵常用的意义与作用

   信息熵的意义   

为什么需要把信息期望单独拎出来定义为信息熵？那是因为我们经常需要使用它
下面我们举两个例子感受一下信息量期望(信息熵)的无处不在
 信息熵的作用1：变量的价值
如果有两个变量，我们只能知道其中一个变量的值，
那么，我们应该选择知道哪一个呢？
 
当然是知道哪个变量能获得的信息期望(信息熵)越大，我们就选择哪一个
这时候，我们就需要计算变量的信息期望了，也就是计算信息熵

信息熵的作用2：用于评估事件的混沌程度
 当我们对一个事件越不确定时，即越混沌时，
在得知该事件的确切值时期望获得的信息量就越多，
即事件越混沌，事件的信息熵就越大，
 
因此，一般可用信息熵来评估一个事件的混沌程度，或者我们对事件的掌握程度
 1. 对事件的评估                                                                                                
信息熵越小，代表事件越清晰，事件的信息熵越大，代表事件本身越混沌   
 2. 评估我们对事件的掌握程度                                                                            
事件的信息熵越大，代表我们对事件的掌握程度越小                                 
事件的信息熵越小，代表我们对事件的掌握程度越大                                 

好了，信息量的概念与意义就写到这了~

  End