特征蒸馏

本节你将能

说明特征蒸馏在对齐什么，以及为何需要投影层。

直觉模型

不只抄最终答案，还抄「解题草稿」——中间激活里有结构信息。

核心要点

• 选对应语义层级的层做匹配
• 通道/空间尺寸不同时用 1×1 conv 等适配器
• 损失：MSE、余弦、Hint loss 等

常见误区

层层强行对齐——过约束会伤害学生。

动手

为 ResNet 浅层加一层 hint loss 草稿。

互动

测验：特征维度不一致时怎么办。

本节小结

下一节看注意力图蒸馏。