香农 1948 一句话定义“信息”，竟预言了今天的大模型

一、1948 年：一篇"没人读得懂"却定义了时代的论文

1948 年，贝尔实验室的工程师克劳德·香农在《贝尔系统技术期刊》上发表了一篇题为《通信的数学理论》的论文。它枯燥、满是公式，以至于当时很多人看不懂。但正是这篇论文，悄悄定义了整个数字时代——今天你每次压缩一张照片、发一条微信、用大模型聊天，底层都是它在说话。

香农要做的事听起来很朴素：给"信息"一个精确的数学定义。在他之前，"信息"是个说不清的模糊词；在他之后，信息成了像质量、能量一样可以被度量的东西。下面我们看看，这个看似简单的想法，是怎么一步步想出来的。

图1：约 1930 年的少年香农——后来"信息论之父"（公有领域）

二、起点：1937 年，用布尔代数重新描述电路

香农的天才，早在 21 岁就读 MIT 时的硕士论文就显露了。那篇题为《继电器与开关电路的符号分析》的论文，证明了一件改变世界的事：电路的开/关，可以用布尔代数的 1 和 0 来表示，而 AND、OR、NOT 这些逻辑运算，恰好对应串、并、反向的继电器。

这一步让他养成了两个终身习惯：第一，一切都可以用二进制表示；第二，用代数和数学，而不是工匠直觉，来设计系统。数字电路从此从一门手艺，变成了一门科学。而"信息用比特（0/1）来度量"，这个念头，正是从这里埋下的种子。

三、二战密码学：把"知识"想成"不确定性"

1941 年香农进入贝尔实验室，从事火控与密码研究。1943 年，他在茶歇时遇见了来访的图灵——图灵给他看了自己 1936 年"通用图灵机"的论文，两人多次长谈（受保密限制，不能聊各自破译工作的细节，多聊机器与心智）。

1945 年 9 月，香农写了一份机密备忘录《密码学的数学理论》（1949 年公开发表），第一次用数学定义了"完美保密"：密文与明文在统计上相互独立，于是一次一密不可破。这件事教会他两件关键的事：把"知识/不确定性"形式化，以及养成"从接收者的视角看信息"的思路——这成了 1948 年论文的灵魂。

四、向热力学"借"来熵，却又换掉了它的灵魂

香农面临的核心难题是：怎么度量"一条消息携带了多少信息"？他注意到，统计力学里有一个叫"熵"的概念，描述的是物理系统的无序程度。而他的同事冯·诺依曼给了他一个著名建议：

"You should call it entropy, for two reasons. In the first place your uncertainty function has been used in statistical mechanics under that name … In the second place, and more important, no one really knows what entropy really is, so in a debate you will always have the advantage."

冯·诺依曼（1961 年访谈转述）：你应该叫它"熵"，理由有二：其一，你的不确定性函数在统计力学里已叫这名，本就有名字；其二（更重要），没人对"熵"真正懂，于是辩论时你永远占上风。

香农借来了"熵"的数学形式 H = −Σ pᵢ log pᵢ，却彻头彻尾地改造了它：热力学熵度量的是物理系统的无序，有量纲、依附于物质；而香农熵度量的是"不确定度、平均意外程度"，无量纲、与任何物理载体无关，纯粹是概率分布的性质。他借了名字和外壳，装进的是"概率"这瓶新酒。

五、最关键的洞见：信息 = 接收端被消除了多少不确定性

这是香农整个理论最颠覆的一步。在他之前（包括哈特利），人们把"信息量"当成消息本身的属性。香农却反过来问：

"The fundamental problem of communication is that of reproducing at one point … a message selected at another point. … these semantic aspects of communication are irrelevant to the engineering problem. The significant aspect is that the actual message is one selected from a set of possible messages."

原文（1948, p.379）：通信的根本问题，是在一点重现另一点所选出的消息……这些语义层面与工程问题无关；要紧的是，实际消息只是从一组可能消息中被选出的某一个。

他的反转是：在收到消息之前，接收者对"发送了哪一条可能消息"有多不确定？收到之后，这种不确定还剩多少？两者的差，就是这条消息携带的信息。于是"信息"不再依赖语义，而等于"消除的不确定性"。一句大白话：告诉你硬币的正反面，你消除了 1 比特不确定，所以这条消息就是 1 比特信息；告诉你"太阳今天升起"，你消除了几乎 0 不确定，所以无论你喊多大声，它都是≈0 信息。

六、为什么是"比特"，又凭什么比哈特利更进一步

取对数底为 2 时，香农把单位命名为"二进制数字"——更简洁地叫 bit（比特），这个词还是同事 Tukey 帮他起的。更深的理由是：1 比特 = 一次"是/否"提问所能消除的最大不确定。信息从此可以被逐位地计数，像质量一样成为物理量。

而相比 1928 年哈特利给出的 H = n log S（假设所有符号等概率），香农的推进是决定性的：

"The choice of a logarithmic base corresponds to the choice of a unit for measuring information. If the base 2 is used the resulting units may be called binary digits, or more briefly bits."

原文（1948, p.379 脚注）：对数底的选择对应于度量信息的单位的选择。若取底为 2，所得单位可称作"二进制数字"，或更简洁地叫 bits（比特），此词由 J. W. Tukey 提出。

香农引入了每个符号的概率权重 pᵢ，使信息成为真正的"平均量（熵）"而非最大容量；他明确把"语义/意义"剥离，让理论能普遍用于任何信源；并由此推出信源编码定理与信道编码定理，给出了压缩与传输的绝对极限。哈特利，只是香农公式在"等概率"这个特殊情形下的特例。

图2：《通信的数学理论》1949 年书版扉页——对应 1948 年那篇奠基论文（公有领域）

七、76 年后的回响：你每天都在用的"香农"

香农先证明了压缩与传输的"不可逾越之线"（香农极限），此后 70 年人类只是不断造出更聪明的码去逼近它。这条线索一直通到今天：

• 数据压缩：熵 H 是无损压缩的平均比特数下限。Huffman 编码、算术编码，到今天 ZIP / PNG / FLAC / JPEG / MP3，核心都是在逼近 1948 年定义的这个下界。
• 纠错码：只要有噪信道速率低于容量 C，就存在编码使误码率任意小。今天 4G/5G 的控制信道用 Polar 码、数据信道用 LDPC 码，都在追逐 C = B·log₂(1+S/N) 这个香农容量。
• 大模型的训练目标：现代 LLM 以"预测下一个 token 的概率分布"为目标，用交叉熵（cross-entropy）损失最小化预测分布与真实分布的差距。交叉熵直接源自香农的熵与相对熵——"token 概率预测"正是香农把信源建模为概率序列、用熵度量其不确定性的原模原样。

更远的回响还有：决策树用"信息增益=熵之差"做分裂；物理上 Landauer 原理把"擦除 1 比特"与 kT·ln2 焦耳的能耗挂钩；惠勒甚至提出"万物源自比特（It from Bit）"。1948 的"比特 + 熵"，已成为横跨通信、计算机、物理、生物的通用语言。

图3：与香农工作相关的图示（公有领域）

八、最该记住的启发

第一，信息不是"内容"，而是"消除的不确定性"。香农最颠覆的洞见，是把信息从"这句话什么意思"反转成"接收端的不确定被消除了多少"。一句废话和一句机密，价值天差地别，只因后者消除了更多不确定。

第二，"熵"是借来的外壳，装的是概率的新酒。他照搬热力学熵的数学形式，却剥离了物理载体，让"平均意外程度"成了通用语言——今天 LLM 用交叉熵训练、用 token 概率预测，仍是 1948 这同一个 H = −Σ pᵢ log pᵢ 在说话。

第三，极限先于工程。香农先证明了"不可逾越之线"，此后 70 年人类只是不断逼近它。理论一旦到位，工程只是追光——这也是为什么学 AI、学通信，绕不开 1948 年那个安静的贝尔实验室工程师。

关联推荐

• 模块二 · 提示词工程实战：让 AI 第一次就听懂你 —— 大模型训练用的"交叉熵"，源头正是香农 1948 的熵；想真正理解 AI，得先懂信息论。

[关联映射] 引流型：本篇呼应 M2 提示词工程课——大模型的训练目标（交叉熵）直接继承自香农的信息熵。