【文章】是德科技助力香农通信验证支持Open RAN的 5G 小型蜂窝基站性能

　　移远通信携手MediaTek推出Rx255G系列RedCap模组，为轻量化5G普及再添动力

　　报名赢【养生壶、鼠标】等｜STM32 Summit全球在线大会邀您一起解读STM32方案

　　MPS电机研究院 让电机更听话的秘密！ 第一站：电机应用知识大考！第三期考题上线，跟帖赢好礼~

　　有奖直播 同质化严重，缺乏创新，ST60毫米波非接触连接器，赋予你独特的产品设计，重拾市场话语权

　　信息论（information theory），顾名思义是研究“信息”的理论。那么信息到底是什么？信息到底有多重要？让我们听听“

　　信息是人的镜子，它在技术更新与模式兴替中展现出变化万端的色彩。但我们回视人的心灵，却发现它在千百年来并没有太多的变化。“科技的互联网”不能描述信息的全部，信息只有作用于思维，才能显示出强大的力量。

　　虽然信息这个词汇在日常生活中无处不在，但要说清楚信息是什么，却并不容易。

　　我们会发现，信息似乎是我们司空见惯的概念，好像直观理解起来并没有什么障碍，但要准确描述信息是什么却非常困难。

　　1924年 Nyquist：给出了给定带宽的电报信道上间串扰的最大可用信号速率；

　　1928年 Hartley：在带限信道中当最大信号幅度Amax，幅度失真为Ad的条件下存在一个可靠通信的最大数据速率；

　　这一年，贝尔实验室对外宣布，他们研发出来了一种全新的小型电子半导体器件。据说，这是一种“出奇简单的设备”，可以完成任何真空管能够完成的工作，而且效率更高，体积更小，更容易集成，小到巴掌大面积的设备里也能容纳数百个。

　　委员会给贝尔实验室的所有高级工程师都发放了选票，经过投票和统计，最后“晶体管”

　　由transconductance（跨导）和varistor（压敏电阻）两个单词合并而成）脱颖而出，成为了这个新型半导体器件的正式名称，沿用至今。第一个晶体管的复制品

　　晶体管引发了电子技术的科学革命，为半导体技术的微型化和普及开辟了道路，可以说晶体管在各行各业都发挥着巨大的作用。

　　而晶体管的发明者，肖克利，巴丁和布拉顿三人也荣获了1956年的诺贝尔物理学奖。可以说，半导体技术是贝尔实验室的最重要的一项发现。

　　但是，如何我们再看看1948年还出现了什么重要进展，就会发现晶体管或许只能屈居次席，因为它只是这场电子行业革命的硬件部分。

　　而我所说的力压晶体管的重要发现，出现在当年的一篇专题论文中。这篇论文的题目简单而又宏大——《通信的数学理论》（A mathematical theoryof communication），这篇半个多世纪前的文章于2001年再次发表，今天还能在谷歌学术里找到，引用次数高达81685次。

　　和晶体管（transistor）一样，这项发现也给人类带来了一个新的单词——比特

　　由于对于通信系统而言，其传递的信息具有随机性，所以定量描述信息应基于随机事件。香农在《通信的数学理论》中提到，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率（或者说不确定性

　　例如，当极限条件下，一个信源只发送一种符号，即发送内容是确定的，即概率为100%，此时接收方无法从接收信号中获得任何信息，即信息的量为零。

　　发送方和接收方约定，符号1代表二进制数字0，符号2代表二进制数字1，则接收端可以通过接收到的信源符号，获取一定信息。

　　3）可加性：多随机事件同时发生存在的总不确定性的度量，可以表示为各时间不确定性度量的和。例：

　　《通信的数学理论》中，从数学上证明满足上述性质的信息熵函数，具有唯一的如下的形式。

　　信息熵不仅定量衡量了信息的大小，同时为信息编码提供了理论上的最优值：实用的编码平均码长的理论下界就是信息熵。即信息熵为数据压缩的极限。

　　此外，在香农提出信息论之前，人们曾普遍认为，以“固定速率发送信息，而忽略误差概率的传输系统

　　其中P/N等于信号能量除以噪声能量，即信噪比。而W代表信道的带宽。同样，这一公式，香农在

　　在之后的1949年，香农又有了重量级的发现，他公开发表的《保密系统的通信理论》一文，开辟了用信息论来研究密码学的新思路，使他成为近代密码理论的奠基者和先驱。

　　这一发现再次震惊了学术界，波士顿环球报称“这一发现将密码从艺术变成为科学”。

　　纵观最近几十年来密码领域的几个重大进展，会发现它们都与香农这篇文章中所提出的思想有着密切关系，可以说《保密系统的通信理论》奠定了现代密码理论的基础。

　　我们都知道，通信系统是克服系统中存在的干扰（系统中固有的，如热噪声，或敌方故意施放的），实现有效且可靠的通信。而信息保密性和隐匿性虽然不等同于信息的不确定性，但我们将会看到它们和不确定性密不可分，且都可化为对信息进行编码问题。

　　“从密码分析者来看，一个保密系统几乎就是一个通信系统。待传的消息是统计事件，加密所用的密钥按概率选出，加密结果为密报，这是分析者可以利用的，类似于受扰信号。”

　　密钥，其目的是己方可方便地除去发端所加的强干扰，从密文中恢复出原来的信息，而使敌方难于从截获的密报中提取出有用信息。

　　香农以概率统计的角度对消息源、密钥源、接收和截获的消息进行数学描述和分析，香农深刻揭示了冗余度在密码中的作用，用不确定性和唯一解距离来度量密码体制的保密性，深入阐明了密码系统、完善保密性、纯密码、理论保密性和实际保密性等重要概念，从而大大深化了人们对于保密学的理解。

　　这使信息论成为研究密码学和密码分析学的一个重要理论基础，将密码学从艺术变成了科学，宣告了科学的密码学时代的到来。

　　但到这里，估计还有不少非相关专业的读者会一头雾水，不太理解香农信息论究竟牛在哪里？开创性在哪里？他为人类做出来多大贡献？

　　为了让大家更加直观地去理解这些问题的答案，后面我们将脱离具体的数学公式和繁杂的定义，宏观而概要地看一看香农提出信息论之前的人类社会中的“信息”和后香农时代的信息。

　　在20世纪的早期，虽然人们对信息的概念还不甚了解，但信息的载体却是随处可见，信件，电话，声音和图像，无论是通过邮局，电缆还是电磁波，信息在整个地球上川流不息地流动着，交互着。

　　据美国人口普查局统计摘要中有关通信的内容，截至1948年，美国每天有1.25亿次的通线万台电线亿封信件。

　　显然，邮局可以计算信件和包裹的数量，但贝尔系统传输的究竟是什么呢？又应该用什么单位计数来衡量呢？可以肯定的是电缆传输的肯定不是通话，但是是信息吗？

　　“时断时续地，我一直在研究信息（intelligence）的一般系统的某些基本属性。”

　　后来在1943年，英国数学家，密码学家，著名的阿兰·图灵曾造访贝尔实验室，并与香农共进午餐，期间他们讨论到人造思维机器的设想，期间香农告诉图灵，他不仅仅满足于向这台“大脑”里输入数据，还希望把文化的东西灌输进去。

　　这些年间，无数巧妙而又天才的想法不断浮现在香农的大脑中，于是为了寻找一种统一的框架来梳理他脑中的好点子，就像爱因斯坦希望提出统一场论一样。

　　但随着牛顿开创性地将一些传统但又定义模糊的词汇，诸如力，时间，质量等，重新定义，赋予新的含义，让物理学开始了一个新的时代。

　　也正是牛顿把这些词加以量化，才能够放在数学公式里使用，或者可以用数学公式来表达。例如，在牛顿做出这一工作之前，motion（运动）一词的含义就跟信息一样，是个极其模糊不清的概念。

　　对于当时遵循亚里士多德学说的人而言，运动可以指代极其广泛而又丰富的现象，如：桃子成熟，苹果落地，子弹出趟，孩童成长等等。但这样一来，motion（运动）的含义就太过于丰富和广泛了，所以必须将其中绝大多数的现象舍弃，牛顿的运动定律才可以使用。

　　到了19世纪，energy（能）一词也经历过相似的重新定义的过程。再到20世纪，信息这个词也不例外，也需要一次提炼，而提炼者就是香农。

　　在香农对信息的概念加以简化，并用bit作为量纲衡量后，人们发现信息几乎无处不在。

　　人们曾经以采集食物为生，而如今他们要重新以采集信息为生，尽管这件事看起来很不可思议。

　　因为香农信息论最初解决的两个问题都属于通信学科，而且加上信息论的奠基论文——《通信的数学理论》中又重点强调了通信，所以会产生一些误解，那就是有人会认为信息论只不过是通信学科的一个组成部分，但是信息论涵盖的领域远不止于此。如上图所示，信息论在统计物理（热力学）、计算机科学（科尔莫戈罗夫复杂度）、推断统计（奥卡姆剃刀）以及概率和统计等学科方向中都有奠基性的贡献。

　　在英语国家被称为“计算机科学”的学科，在一些欧洲国家则被称为“信息科学”。在国内以清华大学为例的高校，电子工程系和计算机科学与技术系等系同属于信息科学技术学院（School of information science and technology）。

　　移远通信携手MediaTek推出Rx255G系列RedCap模组，为轻量化5G普及再添动力