阶跃 JetSpec：推测解码加速近 10 倍
阶跃联合多所高校开源 JetSpec 推测解码框架。用候选树方法突破传统线性推测解码的扩展天花板，H100 MATH-500 加速 9.64 倍，开放对话加速 4.58 倍。
Figure 1: JetSpec 用候选树扩展搜索空间，相比线性推测解码大幅提高接受率
推测解码长期存在的瓶颈是扩展天花板：传统方法一次只能生成一条线性候选序列，如果候选在某位置出错就整段作废。JetSpec 的创新在于用一次前向传播生成一棵带因果条件的候选树，多条路径并行验证，显著提高了整体接受率和有效加速比。
值得注意的是，除了 DeepSeek 的 DSpark 推理加速框架外，JetSpec 代表了学术界和工业界对推理效率的共同关注。当基础能力逐渐够用后，效率就是新的竞争维度。
[Related Recommendations]
- GLM 5.2 本地运行 — 推理优化的另一视角
- GPT-5.5 Codex 推理令牌聚类异常 — 推理机制的潜在陷阱
评论 (0)
加载评论中…