日志评估与常见坑

本节你将能

列出蒸馏调试清单：形状、温度、eval、损失量级、过拟合。

直觉模型

蒸馏 bug 多半是「卷子发错」或「评分标准写反」，不是模型魔法失效。

核心要点

• 检查：batch 对齐、类别维、T、α、T²
• 教师错得离谱时，学生会被带偏——先看教师验证精度
• 早停看验证集，不只看 soft loss

常见误区

soft loss 下降但精度不涨——可能 α/T 不当或任务不匹配。

动手

做一次「关掉软损失」的对照实验。

互动

完成测验；第四章进入特征/注意力蒸馏。

本节小结

能稳定复现 logits KD 后，再上高级变体。