上一代的问题:RNN 固定内存容量小(回忆能力弱),Transformer 增长内存但 O(L²)。中间没有权衡。
这代改了什么:缓存 RNN 隐藏状态检查点,让有效内存随序列增长。四种变体:门控/稀疏/线性/深层。
效果:回忆任务接近 Transformer,优于所有现有 RNN。O(L)~O(L²) 连续谱权衡。
通过缓存 RNN 的隐藏状态检查点,让 RNN 的有效内存容量随序列长度增长,在 O(L)~O(L²) 之间灵活权衡。
Transformer 有增长内存但 O(L²) 复杂度,RNN 有 O(L) 复杂度但固定内存。如何在保持线性复杂度的同时实现 Transformer 级别的回忆能力?
回忆任务中接近 Transformer,优于现有所有 RNN 模型。