NLP 与小模型蒸馏直觉
序列任务与词表对齐要点
本节你将能
说出 NLP 蒸馏（如小 BERT）与视觉的关键差异。
直觉模型
语言模型的「软标签」常在词表维上；还要对齐层数不同的 Transformer。
核心要点
- 词表/分词器需一致或可投影
- 中间层映射（每层或每隔一层）
- 任务蒸馏（下游）与通用蒸馏（预训练）目标不同
常见误区
教师学生分词不一致仍硬对齐 logits。
动手
列出小模型蒸馏要检查的 5 个兼容项。
互动
测验：NLP logits 蒸馏通常对齐哪一维。
本节小结
下一节做消融与评估设计。