原创 王木头 科学有故事
2024-09-04
18:32:04收录于话题#熵与信息#人工智能科声硬科普系列1
在上一集我们就提到过，信息可以降低一个系统的不确定程度。这句话里其实就已经暗含了对熵的描述。香农定义的基于信息的量得出来的也叫做“世界杯比赛”来举例，从8个球队比赛不知道谁得冠军到确定阿根廷夺冠赛前这个系统是不确定的当决赛完成之后冠军就成了确定的了。
这个过程从定性的角度去理解很容易可是如何定量的去衡量8支球队比赛之前的这个状态到底有多不确定呢？
在比赛之前最大的特点就是我们并不知道谁会真的夺冠而不同的球队夺冠所带来的信息量也是不同的比如说我们只看阿根廷队和中国队阿根廷是强队假如他们夺冠的概率50%中国队是弱队夺冠的概率是1%有两个消息一个是阿根廷夺了一个是中国对夺了那么根据上一集计算信量的公式可以计算出来阿根延这消息的信息量是一bit而中国对这则大概是6.6439bit一共八支队伍每支队都可以根据自己赛前的概率算出假如自己得了这条所具有的信息所以非常直接的想法是要确认赛前“世界比”这不确性是不是可以把各自球后加起来表示呢？
不能这么做这样做之后会让概念出现矛盾比如我们可以简化一下问题分别看两场一场阿跟廷法德赢球的概都是/另一场德国中赢球的概则是9%/只有/%可别计下们后的如果系统的就简单地把加起来的话那可以看到阿跟廷法德在前应该是而国中至少有还要多还记得我们对是如何期待的吗期待它是对系不确性的度一系不确定性越高应该越大但是我们可以直觉上判断一下阿根庭法的这场比赛的不确性更高还是德国中国的比高肯定是第一场吧德国%%率是非常非常高了这个就和前面计出来的数值不匹配了前面反而是第第二显然不合理为什么呢忘了中国队要想真能够贡献那么多必须有一个前提那就是中国队需要真的才行所以如果从这个角再去考虑不同结局整个贡献了多少的话应先进行一个处理的让乘以它发生的时再看把它们起那第一场的只有左右第二场的远小于这样就比较合理了如用数学符号表示出来就是这样：假统X共有种可能那么：如对有些基础就会发现其就是一个里平值望值这也是香农对的定义从的角度义来的也被称息除了还有热力学里面还克劳修斯玻尔兹吉布等等不同等表述并不是说它们是不的东西而是从不分另对这个念进的不同描虽然本质上是等价的但都有各的应用域对于我们的理也各有优劣比如虽简直观但是却很易让人产生样困惑那就似乎是一个非常主观的量化指标只要基信理解么这个问题就天然存因为一提必涉到一个通过程中也就是一定两个一是发者另一个接者在面的例子里杯比发送者客观同人对不的球有不估这样同样的一个对于不同的接收就会带来不一样推回去在不的眼同的发送者的就会有不一样的数这里的观实就体通讯程必须同时存在两个我把他为Alice接受Bob发送的状态一定的只和系的状有关所以他也有个客数值也就是说他有个客数的但是发者和受之间递并直取决发的只是取决于发送者和接受两统里的交集然这么表严但仍可先样理不同受算来不一的是发出收交的那部严格意来说部分该叫互用来示只有在收完全包发了这个时候才完等于发的如果有BobCharlie两个他们以不一都完包发了不论BobCharlie多么一样他们都按前面的做来的由发身客观定的要彻解互需铺垫些知这次篇幅不够后面专门介下作用到时候再这件事就容易不过即便是通过前面的简单介绍家应该有这样想法息的主观主要还是因要同时虑发送者和接者果单考一个系统的能就可将排了呢也没么简我可以来看下一子举一副新扑牌面大小花色都整好的所候的就小开洗次序被打乱时就代表增而且最开始几洗的过程扑克的序越越乱也就越来越大了直到扑克达了个乎随机的态此达到了大即便继续也不会加了很多人看到例子之都会产这样的问这里于牌有序的标准何规必照A始、………排列下去为什不能随便规定好顺序认这是最有的果随规一次相对于标反而更加混这样的话岂不是依赖于对了是一种主观吧有点像势能零位置义不一样个体的具体字是不的一尽管绝对不定是从状态到另态增加减少的大小却是定的且最后的大只和高关中间的变化无高处落到B点不论是直接落还抛起再落最后改变值都是一样的似的情况在一个正在变化中的初始最终的状态有关具变的过无关现在看来似乎只有变才是绝的对肯定主观的样的没问但也例外副新开刚的时候每一次都会打乱随着次数增加混乱度越来越高这也代着逐增但要注的是并不会一直下去洗到一定次已经足够多了再多几次也不让更这时就说这种手法下了平衡下的就是定了当然也就客的了也就是说论你设定标准只要够多达到某个就不依任何素气张一张的分子的各种状手气体分子随机运动一幅全新状态完全混过程完全可以看作是把各种混合一起之随着的作用充分到了衡态这里用来述属热力学的最有名玻尔兹曼是这样S=klnW其中S波常国际准作为的对数运算是少不了不过里面的W就和有些不太了一般情况下面进行运算的不是概率而这个公式的W某种程度上就可以代表一系在状态下混乱程度的地方Ω表这个词有两层含义一层宏观微观盒子里面分子数都是确定的如果我们停留在这一层宏微对应关系也可以描述出该系的就像图里那样温度分别对应的曲线玻尔兹曼里面的W就是这个曲线的那个应该是至二维组行N放到K盒子里分布表述出来一定是需要将一到K全部示出的数据显没有办法直接行所以在公式里面必须是用具体的数值表示才行时候就要理解数量并不是每个微现盒子里的分子而是统计一下处于当前(例如)的情况下一共多少种可能性如果说气体里有NK装入面有多少把N装第第一个在一温只能且只能相当于挑所以有种情然后看第二个共可以因为剩下的以此类推所有况写相乘总的可能性总数比起二维的数据一定是丢失了的但对于整体的已经够了失代表着无法还原理论存在两相同但状况有了的基础再看一些定分析为了方便化每次都会让它原本次正负格之内原来张的位置号位置就有可能出现在任意位置而且还会趋于平均到了这就达到了最大也代达平衡理想气举例的话宏观能量体积压强温度物理动位往往也就是分子的动量或者更直观一点可以把想象成一个个的小格子不用管具体怎么放进去反正最后结果是一样的次数除以所有情况得到的就是反过来倒数其实就可以解为发生因此两者互相间是可以转化的只不过要想转化成还需要借助斯特林其中关于无穷小所以在很大时候它可以忽略详细利用斯特林公式变成那样的形式就需要一些数学知识不会超过高中感兴趣的话详细看一下如果不也没关系知道次数和概率是可以相互转化的就可以了具体的推导如下所示这就是吉布斯可以看出几乎一致主体底和一个常系数虽然前面的并不严谨还是可以从中看出本质上相同的诺伊曼让他把它叫做的原因本来是一个体系很难得到的解决的问题就被更容易解决了这其中最有名的物理四大神兽之一的麦克斯韦妖想解决这个问题那就需要通过建立起来我们将一起来讨论这个问题是个有趣深刻的话题如果想了解更多推荐你收听得到APP付费专栏吴军老师通俗易懂语言讲述了基本原理发展历程以及现代科技中的应用通信技术人工智能精髓贯穿始终相信不仅开阔视野更能深化认知让你时代游刃有余科声用户专属福利满减元全网仅限专享悄悄告诉大家满减后价比内购买还要低哦~还有优惠券无限领取超过元的专栏分别领券下单都可立减请注意手机号一定要保持一致否则会导致找不到已购课程扫描下方二维码即可领取全网独家优惠券欢迎大家选购想要学习以前没有决心现在别犹豫推荐阅读脑机接口助瘫痪患者实现游戏自由｜科技联播国庆营长白山丨带孩子去收集北纬度中国最美秋色寻秘自然的悟空之路轻易否定VS轻易相信哪个才是科学精神未来给人类社会带来最大冲击的不是AI……更多有趣的科普视频等你发现??