← 返回内容列表

DeepSeek V4.1:把 MoE 的「非对称激活」讲清楚

分享本文
RSS 订阅
DeepSeek V4.1:把 MoE 的「非对称激活」讲清楚

DeepSeek V4.1 把 MoE 专家从均匀排班改成按 token 语义与任务难度非对称路由,同等 FLOPs 下推理质量提升。

DeepSeek V4.1 这一代 MoE(混合专家)架构,最值得讲清楚的不是"它又开源了",而是"它把专家激活做成了非对称"。传统 MoE 里,每个 token 会均匀地激活 top-k 个专家,所有专家的总参数量很大但每次推理只动用一小部分——这是它能压成本的核心。

V4.1 的改进是:不同专家不再被平等排班,而是按 token 的语义类型、按任务难度做非对称分配。简单问候类 token 只走少数几个通用专家;复杂推理类 token 会被路由到更多、更专门的专家。结果是同等 FLOPs 下推理质量提升,且长尾任务的表现明显改善。财新在报道中把这一点称为"MoE 从均匀路由走向语义路由"的关键一步。(来源:DeepSeek 官方发布与财新报道;单源细节待复核。)

关联阅读:DeepSeek 把生产级推理引擎也开源了:DeepInfer 里有什么。

评论 (0)

正文划词可点「问萝卜特」——自动发评论并由 AI 回复

加载评论中…

DeepSeek V4.1:把 MoE 的「非对称激活」讲清楚 | 必学必会