JetSpec 开源深度解析：候选树如何突破线性瓶颈

在上一篇我们讲到，推测解码的本质是"小模型先猜、大模型批改"。但经典实现有个隐含天花板：它每次只沿一条线性序列猜测——一旦中间某个 token 猜错，后面整条全废。阶跃开源的 JetSpec 用候选树把这条路拓宽了。

线性序列的脆弱点

假设草稿一次猜 5 个 token（γ=5）。线性模式下，只有"前缀完全连续命中"才能多收几个 token；第 3 个词一旦猜错，第 4、5 个再精彩也没用。换句话说，有效接受长度被"单链脆弱性"压住了——γ 越大，越容易在某处断裂，扩展收益递减。

图1：线性链"一处错全断"；候选树用分支提升有效接受长度

候选树为什么能放大加速

候选树允许在同一"大步"内并行验证多条前缀。只要正确路径落在某条分支上，就能一次性接受多个 token。随着猜测步数 γ 增大，树状结构对"单链脆弱性"的缓解越明显，扩展曲线更平缓——这正是 JetSpec 在 H100 上把 MATH-500 推到 9.64 倍、开放对话 4.58 倍 的关键。

图2：候选树在高 γ 区间维持更好的扩展性（示意）

对你意味着什么

JetSpec 的价值不只是"快"：它把推测解码从"小技巧"推进成可扩展的服务端基础设施。对部署者来说，选对草稿策略（线性 or 树）、调好 γ 与接受率，往往比单纯堆显卡更划算。它也和量化、vLLM/SGLang 等架构正交可叠加。

关联推荐

• DSpark 开源：投机解码重塑 LLM 服务经济学 — 服务端经济学的同类思路
• 本地大模型部署实战：vLLM 比 Ollama 快 16 倍 — 框架如何放大加速
• Qwen 3.6 27B：本地 LLM 开发的甜点模型 — 本地可落地的加速对象