知识蒸馏实战：从原理到部署
课程简介
本课程系统讲解知识蒸馏的基本原理、数学推导、PyTorch 实现和实际应用。通过本课程，你将掌握如何让大模型「教会」小模型，实现模型压缩和加速推理。
互动学习
请进入 智能学习路径：每单元约 10–15 分钟 + 测验掌握。六章知识单元已全部开放。
学习目标
- 理解知识蒸馏的核心思想和数学模型
- 掌握温度参数的作用和选择方法
- 能够独立实现知识蒸馏算法（PyTorch）
- 了解知识蒸馏的变体（离线、在线、自蒸馏、特征蒸馏）
- 能够将知识蒸馏应用于实际项目并完成部署评估
章节概览
点击章节或小节可进入对应知识单元（完整顺序见 智能学习路径）。
- 第一章：知识蒸馏概述 — 为什么需要模型压缩
- 第二章：数学原理 — Softmax、温度、KL
- 第三章：PyTorch 基础实现 — 完整训练循环
- 第四章：高级技巧 — 特征/注意力/在线/多教师
- 第五章：实战案例 — 分类、检测、NLP
- 第六章：模型部署 — ONNX、TensorRT、监控
预备知识
- 熟悉 Python 编程
- 了解深度学习基础知识（CNN、损失函数、优化器）
- 有 PyTorch 使用经验