12 · Sparse Transformer

注意力 OpenAI 2019
Child et al., OpenAI · arXiv:1904.10509

迭代了什么

上一代的问题:标准注意力 O(n²) 内存和计算,长序列 n 大时不可接受。

这代改了什么:将全注意力分解为 p 个稀疏模式(Strided 步进式 + Fixed 固定窗口),组合后任意位置 n 步可达。降至 O(n√n)。

效果:EnWik8 上稀疏注意力甚至超过全注意力(0.99 vs 1.00 bits/byte),验证了稀疏归纳偏置的有效性。

一、解决的问题

标准注意力 O(n²) 复杂度限制了长序列建模。

二、分解注意力

将全注意力分解为 p 个稀疏注意力头:

组合后任何位置 n 步可达。复杂度从 O(n²) 降至 O(n√n)。

三、其他改进

预激活残差块、注意力重计算(训练节省显存)、自定义 block-sparse GPU kernel。