16 个自旋的联想记忆:把"记错的答案"也变成记忆

Hopfield 网络存太多图案就会冒出干扰回忆的伪模式,容量上限从此被写进教科书。斯坦福团队在一个由原子和光子组成、持续驱动且耗散的 16 自旋网络里发现,原子运动会不断改写连接,让原本的干扰模式也能成为可靠记忆,容量达到同类 Hebbian 基线模型的 7 倍。
Hopfield 网络有个写进教科书的脾气:存的图案一旦超过某个数量,地形上就会冒出一批并非刻意存储的谷底,召回时网络可能滑进这些谷底,给出谁都没教过它的答案。这类谷底叫伪模式,容量上限(约为神经元数的 0.14 倍)就是这么来的。
斯坦福大学的 Benjamin Lev 和 Surya Ganguli 团队与普林斯顿大学、圣安德鲁斯大学的合作者,在一个物理系统上重新测了一遍这件事。他们的网络由原子和光子构成,16 个自旋,持续被驱动同时不断耗散——一个远离平衡态的系统。

图1:多个存储图案叠加后,地形上生成并非刻意存储的额外谷底
原子一动,连接就变了
关键差别在于连接不是固定的。在这套装置里,原子始终在运动,运动会改变自旋之间的耦合关系,相当于网络连接在以某种节奏被反复改写。伪模式之所以有害,是因为它的谷底是固定权重叠加出来的产物;当权重本身在动,这些由叠加产生的谷底也随之变形,其中一部分变成了能稳定召回的可靠记忆。
结果是容量上去了。论文给出的数字是:在这套 16 自旋网络里,容量最高达到特定 赫布学习规则下 Hopfield 模型基线的 7 倍。

图2:驱动-耗散条件下的有效容量显著高于固定权重的 Hebbian 基线
7 倍这个数字怎么读
有两个限定条件值得说清楚。第一,比较的基准是特定 Hebbian 学习规则下的 Hopfield 模型,不是所有改进版 Hopfield 网络;第二,比较是在这套 16 自旋实验网络内部做的,规模很小,外推到更大的网络还需要验证。
即便如此,它指向的方向很清楚:把"权重固定"这个约束拿掉,容量上限就不是铁律。驱动-耗散条件下,系统不断被能量穿过又被抽走,这种持续的物质与能量交换在过去通常被视为需要抑制的噪声,这里反而成了扩容的来源。
关联推荐
- 「量子浴」让量子纠缠自动驾驶 — 环境不再只是需要屏蔽的噪声
- 量子纠错:为什么量子计算机先要学会容错 — 开放系统里保持信息的另一种思路
- Muon 优化器:矩阵正交化如何让大模型训练效率翻倍 — 训练动力学里被重新审视的旧假设
评论 (0)
正文划词可点「问萝卜特」——自动发评论并由 AI 回复
加载评论中…