llama.cpp 合入 MTP：本地推理速度翻倍

如果你在本地跑模型，几乎绕不开 llama.cpp。最近它的主线合入了一个重磅特性：多 Token 预测（MTP）。社区基准显示，在 Qwen3 27B/35B 等支持的模型上，正确配置后解码阶段 token 生成速度约 1.7–2 倍。这为什么重要？

MTP 和"传统推测解码"有什么不同

经典推测解码需要额外维护一个小草稿模型；MTP 则把预测头直接内置进模型架构——模型本身就能一次预测多个未来 token。验证时由一条"验证路径"对照自身的下一个 token 分布，通过的就整批采纳。好处是：部署更简单、显存更省，不需要再拉一个模型进来。

图1：MTP 用模型内置头并行提议，验证通过即整批采纳

为什么对"本地 Agent"特别关键

本地代理（Claude Code / OpenCode / MCP）的体验，很大程度上取决于解码速度：token 出得越快，推理循环越紧、工具调用越跟手。MTP 把消费级显卡上的解码吞吐直接翻倍，等于在同样的延迟预算里能跑更大的模型、更长的思考。社区实测 Qwen3 27B 上约 1.7–2×。

几个现实提醒

• 模型要支持：MTP 头是训练时就埋好的，不是所有模型都能开。
• 后端成熟度不一：不同计算后端对 MTP 路径支持程度不同，需实测。
• 量化层可能有坑：跨量化等级结果可能不稳定，上生产前先回归测试。
• MoE 上未必划算：如 35B-A3B 的路由开销可能吃掉收益，此时 vLLM/SGLang 的 MTP 路径往往更好。

关联推荐

• Qwen 3.6 27B：本地 LLM 开发的甜点模型 — MTP 的高收益对象
• 本地大模型部署实战：vLLM 比 Ollama 快 16 倍 — 框架选择与加速叠加
• 阶跃 JetSpec：推测解码加速近 10 倍 — 推测解码家族的另一条路线