注意力蒸馏

本节你将能

解释注意力/激活图蒸馏的直觉与适用任务。

直觉模型

教师用「目光」告诉学生看哪里——对检测、细粒度分类很有用。

核心要点

• 由特征图构造 attention map 再对齐
• 常与 logits KD 组合
• 可视化可辅助调试「学偏了没有」

常见误区

注意力噪声大时强行对齐——先检查教师 map 是否合理。

动手

可视化一对教师/学生 attention 差异。

互动

测验：注意力蒸馏更直接作用于什么。

本节小结

下一节：在线蒸馏与自蒸馏。