← 返回内容列表

删掉不到 0.05% 的权重,就能顶一次全量微调

分享本文
RSS 订阅
删掉不到 0.05% 的权重,就能顶一次全量微调

arXiv 2611.10866 提出 Deletion Tuning:在 Transformer 的 gate 投影上学一个二值掩码,把不到 0.05% 的权重置零,其余一律不动,在可验证奖励强化学习、监督微调、同策略蒸馏三种后训练上都追平全量微调。掩码比全量检查点小几百到几千倍,且旧任务遗忘明显更少。

微调的直觉是「多改一点,学得更透」。这篇论文把这个直觉翻过来:把预训练模型的一小撮权重直接置零,别的都不碰,效果和全量微调打平。

方法本身简单到有点意外。在 Transformer 每个块的 gate 投影上,学一个二值掩码——某个位置是 1 就保留原权重,是 0 就置零。训练完只存这个掩码,不存权重。掩码是二值的,所以字典序压缩之后体积比对应的全量微调检查点小几百到几千倍。论文说这个规模下,可验证奖励的强化学习、监督微调、同策略蒸馏三种后训练,Deletion Tuning 都能追平全量微调。

二值掩码只作用在 gate 投影上。

二值掩码只作用在 gate 投影上。

第二个结论更有意思:它忘得少。在强化学习之后,模型在原任务上的准确率基本停在底座水平;全量微调、LoRA 和随机稀疏微调最多掉 5.4 个百分点。对持续学习来说这几乎是刚需——企业场景里没人愿意为了学会一个新流程,把旧流程的手感弄丢。

为什么置零有用?论文给的解释不是「删掉冗余」,而是几何:用稳定秩(stable rank)、谱漂移(spectrum drift)和主权重重叠三个量,比较不同方法学到的权重变化。Deletion Tuning 的变化在三个度量上都最接近全量微调,而 LoRA 和随机稀疏微调偏离得更远。换句话说,全量微调真正起作用的部分,可能就是在少量方向上把权重关掉,而不是在所有方向上小幅挪动。

保留意见也得写。报道提到在 1B 规模上这个结论不完全成立,论文标题里的「at scale」本身就是限定;二值掩码的搜索是离散优化,训练稳定性依赖实现细节;置零是不可逆的,一旦选错位置没有退路。把它当成「便宜版全量微调」可以,当成通用替代品还早。

三种后训练方式下,掩码与全量微调的差距。

三种后训练方式下,掩码与全量微调的差距。

对工程团队的实际意义:如果你在做多任务连续微调,又不想每次都存一份全量检查点,这条路线值得试。先在小模型上验证掩码的稳定性,再放大。

[关联推荐]

来源:《The Surprising Effectiveness of Deleting Weights in LLM Post-Training》,arXiv:2611.10866(2026-11-07,NeurIPS 2026);Traictory 报道(含 1B 规模的例外)。

评论 (0)

正文划词可点「问萝卜特」——自动发评论并由 AI 回复

加载评论中…

删掉不到 0.05% 的权重,就能顶一次全量微调 | 必学必会