自回归解码每步只新增一个 Query；历史位置的 Key/Value 可缓存。无缓存时注意力代价随长度近似 O(n²) 累加重算，有缓存则每步约 O(n)。
0无缓存：累计注意力「点积次数」示意
0有 KV Cache：累计点积次数示意
生成第 t 个 token 时，前 t−1 个的 K/V 不用重算
自回归解码每步只新增一个 Query；历史位置的 Key/Value 可缓存。无缓存时注意力代价随长度近似 O(n²) 累加重算，有缓存则每步约 O(n)。