← 学习中心

世界模型:让 AI 在动手之前,先把后果想一遍

大语言模型预测下一个词,世界模型预测"我这么做会发生什么"。从 LeCun 2022 年提出的 JEPA 架构,到 2026 年单张 GPU 三小时训出人形机器人控制器,这条路线正在补足 LLM 最缺的那块能力:理解物理世界的因果。

世界模型:让 AI 在动手之前,先把后果想一遍

本节你将能

说清大语言模型和世界模型在"预测对象"上的根本差别;解释为什么直接生成未来画面是条弯路;知道 Joint Embedding Predictive Architecture(JEPA)2022 年被提出后,到 2026 年秋天走到了哪一步。

直觉模型:两种"预测"不是一回事

你给一个孩子看一段视频:桌上的杯子被推了一下。问他接下来会怎样,他说"杯子会掉下去摔碎"。这个回答里没有像素、没有光线反射角度,只有一件关键的事——动作会带来后果。

今天的大语言模型做的是另一种预测。它读过的文本越多,越擅长猜下一个 token 是什么。这件事做到了惊人的程度:能写诗、能证明定理、能考过专业考试。但它预测的是符号的延续,不是世界的变化。这就是杨立昆反复强调的那个对比——一个十岁小孩不用训练就知道推杯子会摔,而今天的模型在物理因果上仍然吃力。

图1:大语言模型预测符号,世界模型预测动作后果

图1:大语言模型预测符号,世界模型预测动作后果

LLM:P(xt+1∣x1:t)世界模型:P(st+1∣st,at)\text{LLM}: P(x_{t+1} \mid x_{1:t}) \qquad \text{世界模型}: P(s_{t+1} \mid s_t, a_t)

左边是"给定前文,下一个词是什么";右边是"给定当前状态 sts_t 和我要做的动作 ata_t,世界会变成什么样 st+1s_{t+1}"。多出来的那个 ata_t,就是两代技术的分界线。

为什么不去生成未来的画面

最直觉的做法是:让模型像视频生成器一样,把未来几帧画出来,再看着画面决定动作。这条路走不通,原因不在算力,在信息量。

现实世界里,一片叶子的抖动、水面反光的形状,这些细节既不可能预测,也不影响你的决策。让模型把算力花在复现这些不可预测的细节上,等于要求它先学会画树叶,才准它决定手往哪放。JEPA 的取舍就在这里:不生成像素,改在抽象表征空间里预测。先把观测压缩成一组抽象特征,只预测那些"有用且可预测"的变化,把不可预测的部分主动丢掉。

代价是这条路更难训练——没有重建损失兜底,表征可能坍塌成常数。好处是一旦训成,推理极轻。

图2:JEPA 放弃像素重建,改在表征空间预测

图2:JEPA 放弃像素重建,改在表征空间预测

2022 年的判断,2026 年走到哪了

杨立昆 2022 年提出 JEPA 时,这在主流看来是条偏路。四年后的同一批人,正在把这条路走通:

  • 2026 年 3 月 · LeWM:约 1500 万参数,单张 GPU 训练数小时即可直接从图像学习环境变化、预测不同动作的结果。在部分控制任务上,规划速度比基于大型基础模型的世界模型快约 48 倍。
  • 2026 年 10 月 5 日 · H-JEPA:分层架构,让世界模型在不同时间尺度上做预测与规划,把长期目标逐步拆成具体动作——这是"想得远"和"做得细"之间必须的桥。
  • 2026 年 10 月 · SuperMimic:更进一步。它用一个可微分的世界模型,让梯度直接穿过模拟轨迹回传,解析地求出策略梯度,取代了 PPO 这类采样式强化学习。结果是人形机器人全身控制任务上,单张 GPU 跑 3 小时,追平了 128 张 GPU 跑 7 天的基线。

三个工作指向同一件事:世界模型的价值不只是"让机器人懂物理",它还能把训练成本压下来几个数量级。

图3:从 2022 年 JEPA 到 2026 年的三个工作

图3:从 2022 年 JEPA 到 2026 年的三个工作

还差什么

世界模型的能力上界,被它自己对世界的保真度锁死。模型预测错了,规划得再漂亮也是错的。在实验室的积木台上可靠,不等于在杂乱的真实车间里可靠。杨立昆自己给 AMI Labs 排的路线是先发论文、再做工业 AI、最后才碰家庭机器人与自动驾驶——这个顺序本身就是对难度的承认。

还有一个更根本的开放问题:抽象表征该保留什么、丢掉什么,今天仍靠设计者的判断。丢多了,模型看不见关键变量;丢少了,又退回死记硬背。

核心要点

  • 大语言模型预测符号,世界模型预测"动作—后果"。
  • 生成未来画面是弯路:不可预测的细节会吃掉全部算力。
  • JEPA 的选择是在抽象表征空间预测,只预测可预测的部分。
  • 2026 年的进展让世界模型从"替代仿真"变成了"省算力的训练方法",SuperMimic 是代表。
  • 瓶颈在保真度与表征设计,不在模型规模。
世界模型:让 AI 在动手之前,先把后果想一遍 | 必学必会