康奈尔哈佛联合：AI 大模型"分工合作"效率飙升 2.6 倍

大型语言模型（LLM）的工作方式可以简化为：读取前面的所有 token，预测下一个 token。在这个过程中，模型需要同时完成两项截然不同的任务——记住之前发生了什么（状态维护），以及基于这些信息预测接下来该说什么（预测生成）。

康奈尔大学和哈佛大学的研究团队发现，这种"身兼二职"的设计隐藏着一个深层的效率瓶颈。他们提出了"状态-预测分离"（State-Prediction Separation，简称 SPS）假说：当记忆功能和预测功能被拆分到两条独立的工作流水线时，模型学习效率可以大幅提升。

图1：传统LLM架构与SPS分离架构对比

具体而言，SPS 架构将 LLM 拆分为两个专门化模块：一个"状态模块"负责编码和维护上下文信息（类似于工作记忆），另一个"预测模块"专注于基于状态信息生成下一个 token。两个模块各自优化，通过简洁的接口通信。

实验结果令人瞩目：用不到原来一半的训练数据，SPS 架构就能达到与传统架构相同的性能水平。换言之，在相同训练数据量下，SPS 的学习效率提升了 2.6 倍。

图2：SPS架构学习效率对比

这一发现对 LLM 架构设计有深远影响。当前主流的 Transformer 架构中，自注意力层同时承担了信息聚合（记忆）和特征映射（预测）的功能。SPS 假说提示我们：将这两个功能显式分离，可能比单纯增加参数或数据更有效。

从生物学角度看，这一发现也颇有意味。人类大脑确实将记忆和预测分离到了不同的脑区——海马体负责记忆编码，前额叶皮层负责预测和决策。AI 架构向这种"生物启发"的分工模式靠拢，可能不是巧合。

展望未来，SPS 思路可能与当前的其他优化方向（如 Mixture of Experts、推测解码等）叠加，共同推动 LLM 效率的持续提升。在算力日益成为瓶颈的背景下，"更聪明地组织计算"可能比"更大规模地堆算力"更有前途。

[关联推荐]

• 推测解码 — 大模型推理加速技术
• GPT-5.6 多智能体协作 — 多智能体协作推理范式
• 美团 LongCat-2.0 — 国产万亿参数大模型