Bonsai 27B：27B级AI模型首次在手机上运行

2026年7月，PrismML发布了Bonsai 27B模型，将一个270亿参数的大语言模型压缩到仅3.8GB，首次让27B级模型在智能手机上运行成为现实。该模型基于Qwen 3.6 27B稠密模型，采用QAT（量化感知训练）方法，而非传统的事后训练量化，这意味着模型在训练阶段就适应了低精度表示。

Bonsai 27B提供两种量化变体：1-bit版本（每个权重1.125位有效位数）和ternary版本（每个权重1.71位有效位数）。两者均采用每128个权重一组的FP16分组缩放策略，从极少位宽中提取更多信息。原始FP16模型约53.8GB，1-bit压缩后仅约3.8GB，压缩率超过93%。这意味着单张16GB显存的GPU理论上可容纳约110B参数的模型。

在性能方面，1-bit版本在Ryzen 7 5700X处理器上实现约6 tokens/s的生成速度和9 tokens/s的提示处理速度。三值版本由于尚未优化，速度约0.7 tokens/s。在数学和编程任务上，Bonsai 27B显著优于同等量化级别的Gemma 4 12B QAT模型，在计算机科学和深度学习领域知识方面表现尤为突出。KV-cache内存使用极为节省，即使在完整上下文长度下也能流畅运行。

然而，极端压缩也带来了明显代价。模型容易陷入推理循环（reasoning loops），在部分场景下产生幻觉，甚至输出垃圾内容（可能与Qwen tokenizer中感叹号的token id为0有关）。工具调用性能下降约5%，实际使用中的影响比数字显示的更大。在知识问答和视觉任务方面，Bonsai相比全精度模型有明显差距。

PrismML由Samsung等投资方资助，据报道Apple正在与其进行收购或合作谈判。该公司此前已发布Bonsai 8B和1.7B模型，技术也已扩展到图像模型领域。模型已在Hugging Face发布，需要使用PrismML的llama.cpp定制分支运行，主线llama.cpp已合并其Metal和CPU后端补丁。

Bonsai 27B标志着端侧AI的重要里程碑。当27B参数模型可以装入口袋运行时，移动端AI的潜力被极大释放。但社区也呼吁更多独立第三方测试来验证极端压缩对模型真实能力的影响，以及防止模型被针对benchmark微调。如何在极端压缩下保持模型的可靠性和一致性，仍是业界需要持续攻克的难题。

---

术语注释

1. QAT（量化感知训练）：在模型训练阶段就模拟低精度量化效果，让模型提前适应量化带来的精度损失。与传统的事后训练量化（PTQ）相比，QAT通常能在同等压缩率下保留更多模型能力。
2. 1-bit量化：将模型权重从16位浮点数压缩到仅1位（取值-1或+1），实现极致压缩。三值量化（ternary）则允许-1、0、+1三种取值，保留更多信息但体积略大。
3. KV-cache：大语言模型推理时缓存注意力机制的键值对，避免重复计算。压缩模型的KV-cache占用更小，能在有限内存中支持更长上下文。
4. Ternary（三值）：权重仅取-1、0、+1三个值的量化方案，介于1-bit和传统量化之间，在压缩率和精度之间取得平衡。

延伸阅读：Qwen 3.6 27B：本地LLM开发的甜点模型, 推测解码是什么：为什么它能让大模型快9倍, llama.cpp 合入 MTP：本地推理速度翻倍