推测解码是什么：为什么它能让大模型快 9 倍
今天大模型推理最实用的加速技术之一，不是更大的模型，而是"让小模型先猜、大模型再批改"的推测解码。它为何能"免费"加速？何时该用？一篇看懂。
如果你最近关注本地大模型，一定反复看到一个词：推测解码（speculative decoding）。阶跃开源的 JetSpec 用它把 H100 上的 MATH-500 推理加速到 9.64 倍，开放对话加速 4.58 倍。它到底强在哪？
一句话直觉
大模型生成文本是逐 token 串行的：每写一个词，都要把前面所有内容重算一遍。GPU 很强，但大部分时间在"等下一个 token"。推测解码的做法是：找个更小更快的草稿模型先一口气猜 5 个词，再让大模型一次验证这 5 个对不对——猜对的留下，猜错的从正确处重来。于是"一个一个等"变成了"一批一批出"。
关键 Benefits：质量零损失
最重要的一点：目标模型的输出分布完全不变。验证只是"是否采用草稿的猜测"，拒绝就回退到模型自己的采样，所以生成质量与不加速时一模一样。你只是用一点额外算力换来了并行度，是真正的"免费午餐"。
什么时候该用？
图1：高并发、长输出、草稿准 → 收益大；prefill 瓶颈需另寻方案
它和"量化"是什么关系
图2：量化与推测解码是两条互补路线，可同时开启
小结
推测解码把"串行等待"变成"批处理验证"，是今天性价比最高的推理加速之一；它和量化、高效推理框架（vLLM / llama.cpp 的 MTP）是正交可叠加的。想深入实现与变体（自投机、Medusa、候选树），可看今天的配套知识点与 JetSpec 解析。
关联推荐
- 阶跃 JetSpec：推测解码加速近 10 倍 — 本文背后的真实案例
- DSpark 开源：投机解码重塑 LLM 服务经济学 — 服务端视角的加速
- 本地大模型部署实战：vLLM 比 Ollama 快 16 倍 — 框架如何放大加速收益
评论 (0)
加载评论中…