在这个信息洪流汹涌的时代，熵与信息不仅是科学领域的基石，更是我们理解世界的关键。理解「熵」的本质可以帮助我们理解信息的无序状态，而如何准确评估信息的可靠性和相关性，对于做出明智决策至关重要。
“熵”，这个词大家应该都听过。热力学第二定律描述的就是一个“熵增”的过程。但是你真的理解熵吗？在大多数的科普书里都会说，熵表示的是一个系统的混乱程度。这么理解不能说错，但是一定会让人产生这样一个疑问，房间整洁有序的标准是什么？
熵这个概念是一定要和信息放在一起理解，才能明白其本质的含义。最初熵只是香农研究信息的副产品。香农之所以会做出这么多前人想做没有做到的事，就是因为他作对了一件事，他找到了一种非常合理的方法对信息进行定量描述。
信息会降低系统的不确定性。香农认为信息不论载体是什么，它都是一种可以减少不确定的东西。信息量是对一个消息里含有信息多少的定量描述。香农对于信息的定量描述，其实也不是凭空想出来的，而是对我们直觉习惯进行归纳，然后用一个数学方式呈现出来的。
理解信息量为什么如此计算。概率越小的事情发生了，那么惊讶度就越大，而概率这个数学概念是现成的，我们直接用概率值作为信息量的定量描述就可以了。信息量是可以相加的。
熵到底是什么？和信息量是怎样的关系，我们下一期继续聊。信息量有单位无量纲。信息量可以等价切换为分贝。