码农鼻祖—香农
克劳德·艾尔伍德·香农
克劳德·艾尔伍德·香农（Claude Elwood Shannon ，1916年4月30日 - 2001年2月24日）是美国数学家、信息论的创始人，是世界上第一个使用 bit 这个词的人。克劳德·艾尔伍德·香农 和 约翰·冯·诺依曼、霍华德·艾肯、艾伦·麦席森·图灵 等计算机鼻祖是同时代人。
The best is yet to come. We've only scratched the surface. Computers can only do what we tell them now, but it will be different in the future.
--- Claude Elwood Shannon
劳德·艾尔伍德·香农 1916年4月30日出生于美国密歇根州的 Petoskey，是爱迪生的远亲。1936年毕业于密歇根大学并获得数学和电子工程学士学位，毕业后去麻省理工学院（MIT）范内瓦·布什（Vannevar Bush）名下从事模拟计算机方面的研究。香农的麻省理工学院硕士论文《继电器与开关电路的符号分析》（A Symbolic Analysis of Relay and Switching Circuits），被称为20世纪最重要的论文。在这篇论文中，22岁的香农展示了如何利用继电器和开关的电子电路来实现19世纪数学家乔治布尔的逻辑代数。将布尔代数的「真」和「假」和电路系统的「开」和「关」对应起来，用「0」和「1」表示。
1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位。1941年他加入贝尔实验室数学部，他的大部分职业生涯都在这里度过。1956年到退休，一直在麻省理工学院（MIT）做教授。
香农还是世界上首个提出「计算机能够和人类下棋」的人，在1950年，他为《科学美国人》撰写过一篇文章，阐述了「实现人机博弈的方法」（A Chess-Playing Machine），他设计的国际象棋程序，也发表在当年的论文中，1956年，在洛斯阿拉莫斯的MANIAC计算机上，他展示了人类首个国际象棋的下棋程序。
有人认为认为香农对人类的贡献绝不亚于图灵，属于一个开创一个学科的伟人。
他对人类的贡献完全可以和牛顿、爱因斯坦比肩，比特（bit）这个单位，就是他发明的，用二进制存储信息也是他的贡献。
据说每一个天才的人生，都是开了挂的，这位也不例外。
8岁，他就经常把姐姐的作业抢过来做，不要问他会不会这种挑战智商的问题，因为他从没做错过一道题，并且在他的顺手辅导之下，最后他姐姐成了数学系的教授。
除此之外，他还喜欢机械制作，在同龄人还都在玩儿泥巴的时候，他已经DIY了很多小机械；在大家伙都忙着在校园里为那么点微不足道的邂逅脸红心跳的时候，这个哥已经能自己徒手制作电动船、电报机、各种机械动物了。。。注意这个时候，他还没上大学。
理科生的思维+工科生的动手能力+爆表的思维，注定了他非池中之物，所以，他不出意料的进了美国最牛X的理工科学校——麻省理工学院（MIT）。
他的脑袋里永远有很多奇奇怪怪的想法，比如他硕士毕业那一年，他就弄出了很变态的东西，这是地球人从没设想过的科技点，在他的论文中表现了出来。
他把19世纪中叶英国数学家——乔治·布尔的布尔代数和电子电路中开关和继电器的工作原理，独创性地结合在一起，最后写出了那篇后人称为“20世纪最重要的硕士论文”的文章，直接炸出了一个新的学科：信息学。
他告诉我们：这个世界所有的信息都可以用0和1来表示。
这带领人类从工业时代进入了信息时代。
科学家们发现一个规律，发明家们发明一个产品，很多时候都是特定条件和需求下的产物，就好比牛顿被苹果砸中发现万有引力定律，爱迪生发明灯泡，可这个哥明显是因其强大的智商，超前的思维，颠覆了那个时代。
几十年后，贝尔实验室的通信分析研究部主任 Aaron D. Wyner 曾经这说：“当人们重新回顾时，有些科学发现似乎是那个时代必然会发生的事件，但香农的发现显然不属于此类。”
可这位超级大神不以为然的觉得自己只是做了很微小的工作而已，看看他后来那些叫人眼花缭乱的成就你就知道，这话并非胡说，而是事实。
在上述那篇震惊世界的毕业论文搞完之后，他潇洒的转行了，去了八竿子打不着的遗传学，然后把遗传学和数学结合到一起，有了他的博士论文——《理论遗传学的代数学》，反正不明觉厉就对了。
后来，他博士毕业，正好赶上二战，于是他又顺手跨界到了密码学领域，研发数字加密系统，然后一篇论文出手——密码学从一盘散沙成了一门科学。
他在这个领域的成就用一件事就足以说明：丘吉尔和罗斯福的越洋会议的内容,就是这个哥给加密的。
他的跨界之路，到这里还没完，密码学之后，他又研究起了人工智能，1943年，他在饭桌上跟人工智能之父阿兰·图灵说过这样一句话：“我不仅仅满足于向这台“大脑”里输入数据，还希望把文化的东西灌输进去。”当时，人工智能之父就被震惊了。
其实，香农是世界上首个提出“计算机能够和人类下棋”的人，早在1950年，他就为《科学美国人》撰写过一篇文章，阐述了“实现人机博弈的方法”，他设计的国际象棋程序，也发表在当年的论文中，1956年，在洛斯阿拉莫斯的MANIAC计算机上，他展示了人类首个国际象棋的下棋程序。
信息论
1948年，香农在《贝尔系统技术杂志》上连载发表了《通讯的数学原理》（A Mathematical Theory of Communication），香农在这篇论文中把通信的数学理论建立在概率论的基础上，把通信的基本问题归结为通信的一方能以一定的概率复现另一方发出的消息，并针对这一基本问题对信息作了定量描述。
香农用一个公式定义一个信息源产生的信息量，这个公式类似于物理学中定义热力学熵的公式。从最基本的角度来看，香农的信息熵是编码一条消息所需的二进制数。如今我们看到这个定义会觉得非常自然，但是在1948年，在信息时代的黎明，他这种将信息数字化的方法却是革命性的一步。他在论文首次使用了「bit」这个词，即二进制数字的缩写。
香农在这篇论文中还精确地定义了信源信道信宿编码、译码等概念,建立了通信系统的数学模型，并得出了信源编码定理和信道编码定理等重要结果。这篇论文的发表标志一门新的学科 --- 信息论 的诞生。
除了定义信息，香农还分析了通过通信信道发送信息的能力。他发现一个信道有一个不能超过的最大传输速率，今天我们称之为通道的带宽。香农在数学上证明，即使在低带宽的噪声信道中，通过将传输速率保持在信道带宽内并使用纠错方案，基本上可以实现无差错通信。可以说我们今天如此众多的通信手段，一切高质量通信的基础都依赖于通信过程中的纠错，都离不开香农创造的信息论的理论基础。
1960年代，年方半百的香农逐渐消失在公众的视野中。他甚至不再出席由他创办的信息领域专业会议。香农曾经说过：“许多伟大数学家在年轻的时候就已经完成了生命中最重要的研究”。也许是他自认为江郎才尽了？旁人和后人都不得而知。只是到了1985年，有一次他出乎意料地出现在英国布莱顿举行的国际信息论研讨会上，当时很多与会者甚至不知道他仍然在世。事实上到了1980年代，香农的记忆力开始严重衰退，后来患上了老年痴呆症。香农在与疾病抗争了很长一段时间后于2001年2月24日辞世，享年84岁。
© http://history-computer.com
回顾香农辉煌的一生，他年轻时开始已经在世界上被逐渐公认推崇，获得过10个荣誉博士学位（先后依次为密歇根大学、普林斯顿大学、爱丁堡大学、匹兹堡大学、美国西北大学、牛津大学、东英格伦大学、卡内基梅隆大学、塔夫斯大学和宾夕法尼亚大学），成为美国科学院和工程院院士以及英国皇家学会院士。他获得的主要奖项包括1985年的日本京都奖（Kyoto Prize）、1966年的IEEE 荣誉奖章（IEEE Medal of Honor）、1972年IEEE第一届香农奖（Shannon Award）和1996年的美国国家科学奖（National Medal of Science）。遗憾的是，香农研究工作的领域和本质决定了他无缘于诺贝尔奖。
在香农的生前身后，许多科学家和数学家都“遇见”过他（“Meets Shannon”）。除了与他同时代或稍后的知名数学家和科学家卡诺（Carnot,1796-1832）、菲克（Fick，1829-1901）、李雅普诺夫(Lyapunov,1857-1918)、马可尼（Marconi，1874-1937）、奈奎斯特（Nyquist，1889-1976）、维纳（Wiener，1894-1964）、冯·诺尔曼（von Neumann，1903-1957）、波德（Bode，1905-1982）、列昂季耶夫（Leontief，1906-1999）、图灵（Turing，1912-1954）、布莱克韦（Blackwell，1919-2010)、贝尔曼（Bellamn，1920-1984）、纳什（Nash，1928-2015）、列康（LeCam，1924-2000）、摩尔（Moore，1929-）、卡尔曼（Kalman，1930-2016）、斯特朗（Strang，1934-）、索兹（Shortz，1952-）之外，还有他的前辈傅里叶（Fourier，1768-1830）、麦克斯韦（Maxwell,1831-1879）、瓦尔拉斯（Walras，1834-1890)、特斯拉（Tesla，1856-1943），他们都“遇见”过香农（见[附录]）。
香农如此敬业乐群，你也“遇见”过他么？
附录：Who meets Shannon or Shannon meets whom?
卡诺（Carnot）: O Shental and I Kanter, Shannon meets Carnot: Generalized second thermo-dynamic law, Europhysics Letters, 85(1): 10006, 2009.
卡诺（Carnot）: H Li, Information efficiency of communications for networked control in cyber physical systems: When Carnot meets Shannon, 55th IEEE Conference on Decision and Control, Dec. 12-14, 2016, Las Vegas, NV, USA
菲克（Fick）: AO Bicen, JJ Lehtomäki, and IF Akyildiz, Shannon meets Fick on the microfluidic channel: Diffusion limit to sum broadcast capacity for molecular communication, IEEE Transactions on NanoBioscience, 17(1): 88-94, 2018.
李雅普诺夫(Lyapunov）: T Holliday, P Glynn and A Goldsmith, Shannon meets Lyapunov: Connections between information theory and dynamical systems, 44th IEEE Conference on Decision and Control, Dec. 12-16, 2005, Seville, Spain, 2005.
马可尼（Marconi）: D Tse, Modern wireless communication: When Shannon meets Marconi, 2006 IEEE International Conference on Acoustics, Speech and Signal Processing, May 14-19, 2006, Toulouse, France, 2006.
奈奎斯特（Nyquist）: YX Chen, AJ Goldsmith and YC Eldar, Shannon meets Nyquist: The interplay between capacity and sampling, 49th Annual Allerton Conference on Communication, Control, and Computing, Sept. 28-30, Monticello, IL, USA, 2011.
奈奎斯特（Nyquist）: YX Chen, YC Eldar, and AJ Goldsmith, Shannon meets Nyquist: Capacity of sampled Gaussian channels, IEEE Transactions on Information Theory, 39(8): 4889-4914, 2013.
维纳（Wiener）: GD Forney, On the role of MMSE estimation in approaching the information-theoretic limits of linear Gaussian channels: Shannon meets Wiener, 41st Annual Allerton Conference on Communication, Control and Computing, Oct. 1-3, 2003, Monticello, IL, USA, 2003; and Shannon meets Wiener II: On MMSE estimation in successive decoding schemes, 2004.
冯·诺尔曼（von Neumann）: ST Jose and AA Kulkarni, Shannon meets von Neumann: A minimax theorem for channel coding in the presence of a jammer, arXiv:1811.07358, 2018.
波德（Bode）: N Elia, When Bode meets Shannon: Control-oriented feedback communication schemes, IEEE Transactions on Automatic Control, 49(9): 1477-1488, 2004.
列昂季耶夫（Leontief）: D Zachariah and P Cockshott, Leontief meets Shannon - Measuring the complexity of the economic system, arXiv:1705.02154, 2017.
图灵（Turing）: JP Giannini and T Bowen, Life in code and digits: When Shannon met Turing, Electronic Visualisation and the Arts, July 11-13, 2017, London, UK, 2017.
图灵（Turing）: W Szpankowski and A Grama, Frontiers of science of information: Shannon meets Turing, Computer, 51(1): 28-38, 2018.
布莱克韦（Blackwell）和列康（LeCam）: M Raginsky, Shannon meets Blackwell and LeCam : Channels, codes, and statistical experiments, IEEE International Symposium on Information Theory, July 31 - Aug. 5, 2011, St. Petersburg, Russia, 2011.
贝尔曼（Bellamn）: S Meyn and G Mathew, Shannon meets Bellman: Feature based Markovian models for detection and optimization, 47th IEEE Conference on Decision and Control, Dec. 9-11, 2008, Cancun, Mexico, 2008.
纳什（Nash）: RA Berry and DNC Tse, Shannon meets Nash on the interference channel, IEEE Transactions on Information Theory, 57(5): 2821-2836, 2011.
摩尔（Moore）: L Harrison, Moore’s law meets Shannon’s law: The evolution of the communication's industry, IEEE International Conference on Computer Design: VLSI in Computers and Processors, Sept. 23-26, 2001, Austin, TX, USA, 2001.
摩尔（Moore）: S Scholl, S Weithoffer and N When, Advanced iterative channel coding schemes: When Shannon meets Moore, 9th International Symposium on Turbo Codes and Iterative Information, Sept. 5-9, 2016, Brest, France, 2016.
卡尔曼（Kalman）: A Gattami, Kalman meets Shannon, arXiv:1404.4350, 2014.
斯特朗（Strang）: PL Dragotti, M Vetterli, and T Blu, Sampling moments and reconstructing signals of finite rate of innovation: Shannon meets Strang–Fix, IEEE Transactions on Signal Processing, 55(5): 1741-1757, 2007.
索兹（Shortz）: M Efron, Shannon meets Shortz: A probabilistic model of crossword puzzle difficulty, Journal of the American Society for Information Science and Technology, 59(6): 875-886, 2008.
傅里叶（Fourier）: ZD Wang and GB Giannakis, Wireless multicarrier communications: Where Fourier meets Shannon, IEEE Signal Processing Magazine, 17(3): 29-48, 2000.
麦克斯韦（Maxwell）: K Chakraborty and M Franceschetti, Maxwell meets Shannon: Space-time duality in multiple antenna channels, 44th Annual Allerton Conference on Communication, Control, and Computing, Sept. 27-29, 2006, Monticello, IL, USA, 2006.
麦克斯韦（Maxwell）: SH Lee and SY Chung, Capacity scaling of wireless ad hoc networks: Shannon meets Maxwell, IEEE Transactions on Information Theory, 58(3): 1702-1715, 2012.
瓦尔拉斯（Walras）: E Jorswieck and R Mochaourab, Shannon meets Walras on interference networks, International Workshop on Information Theory and Applications, Feb. 10-15, 2013, San Diego, CA, USA, 2013.
特斯拉（Tesla）: P Grover and A Sahai, Shannon meets Tesla: Wireless information and power transfer, International Symposium on Information Theory, June 13-18 2010, Austin, TX, USA, 2010.