世界模型与具身智能：从 JEPA 论文到工业落地

课程简介

大语言模型已经把"读和写"做到了极致，但让机器在真实世界里动手，需要的不是更好的文本预测，而是对"我这么做会怎样"的预判能力。这门课沿着杨立昆 2022 年提出的 JEPA 路线，一路讲到 2026 年 LeWM、H-JEPA、SuperMimic 等具体工作，把"世界模型"从一个概念名词拆成可动手实现的架构选择。

课程不堆公式，重点是三个问题：为什么表征空间预测优于像素生成；分层预测怎么把长期目标拆成动作；可微分世界模型为什么能把强化学习的算力需求压掉几个数量级。

图1：从大语言模型到具身智能的技术路线位置

学习目标

• 区分 LLM 的符号预测与世界模型的状态转移预测，能说清两者的数学差异
• 理解 JEPA 为什么放弃重建损失，以及表征坍塌的风险与常见对策
• 读懂 LeWM 与 H-JEPA 两篇论文的方法部分，能复现单 GPU 训练流程
• 理解可微分世界模型如何用解析梯度替代采样式策略梯度
• 能针对一个具体控制任务，判断该不该上世界模型、上哪种

图2：课程六章路线

章节概览

1. 第一章 · 两种预测：从 token 预测到状态转移预测，公式与直觉
2. 第二章 · 表征空间为什么更好：不可预测细节、信息瓶颈、JEPA 的取舍
3. 第三章 · 训练 JEPA 类模型：编码器设计、坍塌防护、单 GPU 复现 LeWM
4. 第四章 · 分层与时间尺度：H-JEPA，长期目标如何拆成动作序列
5. 第五章 · 可微分世界模型：SuperMimic 与解析策略梯度，算力账怎么算
6. 第六章 · 落地与边界：保真度陷阱、工业场景的可靠性门槛、选型决策树