MoE · 混合专家

路由器（门控网络）给每个专家打分，取 Top-K（常见 K=1 或 2）加权输出。总参数量↑，单次前向 FLOPs 仍可控——这是 DeepSeek-MoE、Mixtral 等模型的关键套路。