试题试做

共 10685 道。先按知识点进入练习，也可以从下面的最新题目直接试做。

最新试题 · 第 243 页

分子生物学的中心法则描述的信息流是？

知识蒸馏常用于？

除输出层外，也可蒸馏中间层特征（特征蒸馏）传递表示级知识。

离线蒸馏与在线蒸馏的主要区别是？

知识蒸馏带来的收益包括？

学生模型的参数量通常小于教师模型。

蒸馏中「温度（temperature）」的作用是？

蒸馏损失通常同时包含？

蒸馏可以让学生在更小体积下接近教师模型的性能。

相比硬标签（one-hot），软标签（soft label）额外包含？

知识蒸馏中「教师-学生」指的是？

常见的门控路由策略包括？

Mixtral 是开源的 MoE 大模型代表之一。

「专家容量（expert capacity）」限制的是？

MoE 面临的主要挑战有？

Switch Transformer 是代表性的 MoE 语言模型之一。

与稠密（dense）模型相比，MoE 的主要权衡是？

MoE 的优势包括？

MoE 在推理时只激活部分参数，从而降低单次前向的计算量。

门控网络（gating network）的作用是？