延迟与精度权衡

本节你将能

在给定延迟 SLA 下，选择蒸馏+量化的组合策略。

直觉模型

先定「不能慢过 X ms」，再在可行域里最大化精度——而不是相反。

核心要点

• 画 Pareto：精度 vs 延迟
• 蒸馏抬精度上限，量化/剪枝压延迟
• 批大小、并发、CPU 前处理都算进端到端

常见误区

只优化模型算子，忽略解码后处理占时。

动手

写你服务的端到端耗时分解表。

互动

测验：SLA 优先时先定什么。

本节小结

最后一节：上线监控清单。