← 学习中心

环境与数据管线

同一预处理,教师学生共享输入

本节你将能

搭好 PyTorch 训练环境,并保证教师与学生吃到同一增强后的 batch。

直觉模型

蒸馏是「同题考试」:老师学生必须看到同一张卷,否则软标签对不上。

核心要点

  • 固定 seed;DataLoader 输出同时喂两端
  • 增强策略:过强随机增强可能加大拟合难度
  • 教师可预先缓存 logits 以省算力(离线)

常见误区

学生用增强、教师用原图——分布错位。

动手

写一个 Dataset,返回 (x, y),并在 train_step 同时前向两模型。

互动

测验:为何两端要共享输入。

本节小结

下一节专门做教师软标签生成。

环境与数据管线 - 生命科学与前沿科技学习平台 | 必学必会