环境与数据管线
同一预处理,教师学生共享输入
本节你将能
搭好 PyTorch 训练环境,并保证教师与学生吃到同一增强后的 batch。
直觉模型
蒸馏是「同题考试」:老师学生必须看到同一张卷,否则软标签对不上。
核心要点
- 固定 seed;DataLoader 输出同时喂两端
- 增强策略:过强随机增强可能加大拟合难度
- 教师可预先缓存 logits 以省算力(离线)
常见误区
学生用增强、教师用原图——分布错位。
动手
写一个 Dataset,返回 (x, y),并在 train_step 同时前向两模型。
互动
测验:为何两端要共享输入。
本节小结
下一节专门做教师软标签生成。