克劳德·埃尔伍德·香农(Claude Elwood Shannon),美国数学家,提出了信息熵的概念,奠定了信息论和数字通信的基础。虽然无缘诺贝尔奖,但香农的研究却与各个领域的顶尖学者产生过交集。陈关荣教授在本文中整理了22位科学家与香农跨时空的“meet”。
美国科学家香农(Claude Elwood Shannon,1916年4月30日-2001年2月26日)以创立信息论而闻名。香农出生于密歇根(Michigan)的湖滨小镇佩托斯基(Petoskey),该地名来自当地印第安人语,意为“旭日之光”。
1936年,香农在密歇根大学获得数学与电气工程学士学位,然后进入麻省理工学院(MIT)读研究生。
1938年香农在MIT获得电气工程硕士学位,学位论文题目是“继电器与开关电路的符号分析”(A symbolic analysis of relay and switching circuits)。他把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来,分别用1和0表示。他的数学分析为数字电路打下了理论基础,把计算机科学引上了数字化的道路,为今天形形色色的数字技术铺垫了牢固的基石。
1940年,香农因这一成果获得了美国工程师学会颁发的Alfred Noble奖。同年,香农在MIT获得数学博士学位,学位论文题目是“理论遗传学的代数学”(An algebra for theoretical genetics)。
在科学史上被公认为有奠基性成果的博士论文并不多见,广为人知的当然有爱因斯坦、居里夫人、德布罗意、费曼,数学方面还包括黎曼和纳什,而香农的博士论文被认为是二十世纪最优秀的一篇。
1940-1941年间,香农在普林斯顿高等研究院工作,期间开始思考信息理论和数字通信问题。1941年,他加入AT&T电话电报公司的贝尔实验室(Bell Labs)数学部,工作至1956年。其后被MIT聘为客座教授,1958年成为讲座教授,1978年退休成为名誉教授。
在贝尔实验室期间,除了火炮控制系统之外,信息保密和隐藏技术是香农的主要工作内容。
1945年,香农向实验室提交了一份机密文件“密码学的数学理论”(A mathematical theory of cryptography)。该研究成果在二战结束后于1949年以“保密系统的通信理论”(Communication theory of secrecy systems)为题正式发表,为现代公钥密码和分组密码设计提供了启发和指导。他随即被美国政府聘为密码事务顾问。
在贝尔实验室,信息理论和数字通信一直是香农的重点科学研究内容。
1948年,香农在实验室主办的杂志《Bell System Technical Journal》上分两期发表了一篇论文“通信的数学原理”(A mathematical theory of communication),研究了如何最好地为发送信息编码,引进了量度不确定性的信息熵,还设计了稍后和范诺(Robert Fano)一起完成的“香农-范诺编码”。
1949年,他又在该杂志上发表了“噪声下的通信”一文,其中建立了著名的香农采样定理(Shannon sampling theorem)。香农这期间的一系列工作,建立了现代信息论。他后来回忆道:“我的第一个想法,就是如何在噪声信道中最好地改善信息传输。”
香农在1948年的论文中还引进了通信信道的香农极限(Shannon limit),也称为香农容量(Shannon capacity),就是针对特定噪声水平的信道的最大理论信息传输速率。后来,著名的香农定理(噪声信道编码定理)指出: 信息传输速率即信道容量,是带宽,是平均信号功率,是平均噪声功率,为信噪比。香农极限就是其最大值。香农在该论文中解释了如何计算这个极限,但他当时并不知道如何逼近它。
多年以后,香农和其他科学家不断地挑战这个重要而棘手的技术问题。现代通信系统从1G、2G、3G、4G到5G的整个发展过程中,全世界的科学家、通信运营商和生厂商们一直在追逐着逼近香农极限。
1951年,香农发表了“书面英语的预测和熵”(Prediction and entropy of printed English)一文,说明信息论不但可以应用于计算机语言,而且可以应用于自然语言,他还计算了英语的熵,主张从数理统计的角度去分析人类语言。香农是一个典型的兴趣驱动型的科学家,他并不考虑自己的研究成果有无商业价值,甚至不关心最后成果是否有用。他说:“我在完全无用的事情上花了大量的时间”。
事实上,香农对各种创新尝试的喜好甚至让他迷恋上智能游戏机。1949年,他发表了论文“为下棋计算机编程”(Programming a computer for playing chess),勾画了关于人工智能的一项开创性工作。次年,他亲手制造了一只名为“忒修斯”(Theseus)的机器老鼠,让机械鼠通过反复试探后自己找到迷宫的出路。
忒修斯是希腊神话中的英雄,他为了解救希腊的童男童女,自告奋勇到克里特岛除掉了人头牛身的恶怪“弥诺陶洛斯”(Minotaur),并在可怕的迷宫里成功地找到了出口。
1951年,香农发表了论文“介绍一个走迷宫的机器”(Presentation of a maze solving machine),解释了这一任务是通过密集继电器系列的运作完成的,取材于贝尔电话系统的交换机元件。
那个巧妙的机电设计被视为现代计算机芯片的雏型。1953年,他又设计了一个“心灵阅读”(mind reading)机器,它通过观察和分析弈棋对手过去所做各种选择的样本,能够相当准确地猜测到对手下一步棋的走法。那个成功的逻辑设计被视为现代机器学习和人工智能发展的前奏。香农当年说过:“我认为,几十年后机器智能超越人类是完全可以预期的。”
从上世纪60年代起,年方半百的香农逐渐消失在公众的视野中。他甚至不再出席由他创办的信息领域专业会议。香农曾经说过:“许多伟大数学家在年轻的时候就已经完成了生命中最重要的研究。”也许是他自认为江郎才尽了?旁人和后人都不
得而知。只是到了1985年,有一次他出乎意料地出现在英国布莱顿举行的国际信息论研讨会上,当时很多与会者甚至不知道他仍然在世。
事实上到了1980年代,香农的记忆力开始严重衰退,后来患上了老年痴呆症。香农在与疾病抗争了很长一段时间后于2001年2月24日辞世,享年84岁。
回顾香农辉煌的一生,他年轻时开始已经在世界上被逐渐公认推崇,获得过10个荣誉博士学位(先后依次为密歇根大学、普林斯顿大学、爱丁堡大学、匹兹堡大学、美国西北大学、牛津大学、东英格伦大学、卡内基梅隆大学、塔夫斯大学和宾夕法尼亚大学),成为美国科学院和工程院院士以及英国皇家学会院士。
他获得的主要奖项包括1985年的日本京都奖(Kyoto Prize)、1966年的IEEE荣誉奖章(IEEE Medal of Honor)、1972年IEEE第一届香农奖(Shannon Award)和1996年的美国国家科学奖(National Medal of Science)。遗憾的是,香农研究工作的领域和本质决定了他无缘于诺贝尔奖。
在香农的生前身后,许多科学家和数学家都遇见过他(“Meets Shannon”)。
除了与他同时代或稍后的知名数学家和科学家卡诺(Carnot,1796-1832)、菲克(Fick,1829-1901)、李雅普诺夫(Lyapunov,1857-1918)、马可尼(Marconi,1874-1937)、奈奎斯特(Nyquist,1889-1976)、维纳(Wiener,1894-1964)、冯·诺尔曼(von Neumann,1903-1957)、波德(Bode,1905-1982)、列昂季耶夫(Leontief,1906-1999)、图灵(Turing,1912-1954)、布莱克韦(Blackwell,1919-2010)、贝尔曼(Bellamn,1920-1984)、纳什(Nash,1928-2015)、列康(LeCam,1924-2000)、摩尔(Moore,1929-)、卡尔曼(Kalman,1930-2016)、斯特朗(Strang,1934-)、索兹(Shortz,1952-)之外,还有他的前辈傅里叶(Fourier,1768-1830)、麦克斯韦(Maxwell,1831-1879)、瓦尔拉斯(Walras,1834-1890)、特斯拉(Tesla,1856-1943),他们都遇见过香农(见[附录])。
香农如此敬业乐群,你也遇见过他么?