温度参数 T
T 越大越平滑，暗知识越多
本节你将能
解释 温度 T 对软标签的影响，并给出调参起点。
直觉模型
T 像把「尖锐的排名」调成「温和的倾向」：猫 0.9 / 狗 0.08 / 车 0.02 在高温下差距缩小，学生才学得到「猫更像狗」。
核心要点
- p_i = Softmax(z_i / T)
- 常见起点 T∈[2, 5]；过大则信号过平，过小接近硬标签
- 损失里常乘 T² 以保持梯度量级（经典 Hinton 设定）
soft = F.log_softmax(student / T, dim=-1)
target = F.softmax(teacher / T, dim=-1)
常见误区
训练用高温、部署忘记：推理时学生仍用 T=1。
动手
固定 logits，画出 T=1/2/4 的分布变化。
互动
测验：T→∞ 时分布趋势。
本节小结
下一节用 KL 衡量学生与教师分布差异。