33 · Memory Caching — RNNs with Growing Memory

替代架构 2026
arXiv:2602.24281

迭代了什么

上一代的问题:RNN 固定内存容量小(回忆能力弱),Transformer 增长内存但 O(L²)。中间没有权衡。

这代改了什么:缓存 RNN 隐藏状态检查点,让有效内存随序列增长。四种变体:门控/稀疏/线性/深层。

效果:回忆任务接近 Transformer,优于所有现有 RNN。O(L)~O(L²) 连续谱权衡。

一、一句话总结

通过缓存 RNN 的隐藏状态检查点,让 RNN 的有效内存容量随序列长度增长,在 O(L)~O(L²) 之间灵活权衡。

二、解决的核心问题

Transformer 有增长内存但 O(L²) 复杂度,RNN 有 O(L) 复杂度但固定内存。如何在保持线性复杂度的同时实现 Transformer 级别的回忆能力?

三、核心创新

四、四种变体

五、效果

回忆任务中接近 Transformer,优于现有所有 RNN 模型。