在线蒸馏与自蒸馏
教师也可学习，或自己教自己
本节你将能
区分离线、在线、自蒸馏，并说出各自代价。
直觉模型
离线：名师已退休只答疑；在线：师生同班共同进步；自蒸馏：明日的我教今日的我。
核心要点
- 在线：教师也更新，算力与稳定性要求更高
- 自蒸馏：同一网络深层教浅层，或历史权重教当前
- 选型：资源紧用离线；要极致精度可试在线/自蒸馏
常见误区
在线蒸馏不调学习率——两端互相干扰导致崩。
动手
用 EMA 教师做一版简易自蒸馏伪代码。
互动
测验：自蒸馏是否必须有更大外部教师。
本节小结
下一节多教师与集成。