为什么信息熵要定义成-Σp*log(p)？

作者：西贝
链接：https://www.zhihu.com/question/30828247/answer/64816509
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

我从一个非常直观的角度来解释一下熵的定义为什么如题主所示。

第一，假设存在一个随机变量，可以问一下自己当我们观测到该随机变量的一个样本时，我们可以接受到多少信息量呢？毫无疑问，当我们被告知一个极不可能发生的事情发生了，那我们就接收到了更多的信息；而当我们观测到一个非常常见的事情发生了，那么我们就接收到了相对较少的信息量。因此信息的量度应该依赖于概率分布，所以说熵的定义应该是概率的单调函数。

第二，假设两个随机变量和是相互独立的，那么分别观测两个变量得到的信息量应该和同时观测两个变量的信息量是相同的，即：。而从概率上来讲，两个独立随机变量就意味着，所以此处可以得出结论熵的定义应该是概率的函数。因此一个随机变量的熵可以使用如下定义：

此处的负号仅仅是用来保证熵（即信息量）是正数或者为零。而函数基的选择是任意的（信息论中基常常选择为2，因此信息的单位为比特bits；而机器学习中基常常选择为自然常数，因此单位常常被称为nats）。

最后，我们用熵来评价整个随机变量平均的信息量，而平均最好的量度就是随机变量的期望，即熵的定义如下：

总的来说，题主给出的定义符合第一点（单调性），但是不符合第二点。

以上内容参考自Bishop 的著作《Pattern Recognition and Machine Learning》

 

证明的太美了！感动！！