多教师与集成蒸馏

本节你将能

描述多教师蒸馏的平均/加权策略与风险。

直觉模型

三个老师意见不一致时，学生需要对「共识」或「可信老师」加权，而不是平均噪声。

核心要点

• logits 平均、或按验证表现加权
• 异构教师（CNN/Transformer）可互补
• 成本：推理多个教师昂贵，可离线缓存

常见误区

教师互相矛盾仍等权平均——不如先筛选。

动手

设计两教师加权方案并写伪代码。

互动

完成测验；第五章进入任务实战。

本节小结

高级技巧是工具箱，实战按任务选配。