← 返回内容列表

CVPR 2026 最佳论文提名:Mapping Networks——用1/200的参数训练深度网络

CVPR 2026 最佳论文提名:Mapping Networks——用1/200的参数训练深度网络

CVPR 2026 最佳论文提名 Mapping Networks 提出用低维潜向量生成高维网络参数,实现 99.5% 参数缩减,性能达到或优于原网络。

深度学习的"参数爆炸"问题

过去十年,深度学习的最大趋势之一就是:更大。但这意味着训练成本高昂、过拟合风险高、可解释性差。CVPR 2026 最佳论文提名作品《Mapping Networks》提出了一种根本性的解决方案:也许我们不需要训练那么多的参数

核心思想:权重流形假设

Mapping Networks 的理论基础是:训练好的神经网络参数位于(或接近)一个低维平滑流形。如果这是真的,那么我们只需要几个数字(低维潜向量的坐标)就能"描述"整个网络的参数!

映射定理(Mapping Theorem)

论文提出了严格的映射定理:存在一个平滑函数,把几个数字(潜向量)映射到几乎最优的网络参数。这个函数就是"映射网络"。

架构:映射网络如何工作?

  1. 可训练潜向量 z:只有几个数字(如 1024 个)
  2. 固定映射权重 W:权重固定,由潜向量 z 调制
  3. 生成目标网络参数:输出被分区和重塑以匹配目标网络参数
  4. 目标网络前馈:梯度只通过映射网络传播

实验结果:99.5% 参数缩减,性能不降反升

任务基线参数量Mapping Net 参数量缩减倍数性能 图像分类(MNIST)537,9942,072260×99.56%(超过基线) Deepfake 检测108,6182,04853×85.90%(+6.9%) 图像分割1,734,8038,192211×97.92%(+4.7%) 时间序列预测12,96164200×0.0019(优于基线) 与现有方法的比较

  • vs. 超网络:映射网络的目标网络不直接训练,实现极致参数缩减
  • vs. 剪枝:压缩比高达 200-500 倍(剪枝通常 10-50 倍)
  • vs. 低秩分解:非线性映射,表达能力更强

总结

Mapping Networks 从一个简单而深刻的观察出发——训练好的神经网络参数可能位于低维流形上——提出了一种全新的参数高效训练方法。实验结果令人印象深刻,对资源受限场景尤其有价值。

[关联推荐]

CVPR 2026 最佳论文提名:Mapping Networks——用1/200的参数训练深度网络 | 必学必会