上一代的问题:标准注意力 O(n²) 内存和计算,长序列 n 大时不可接受。
这代改了什么:将全注意力分解为 p 个稀疏模式(Strided 步进式 + Fixed 固定窗口),组合后任意位置 n 步可达。降至 O(n√n)。
效果:EnWik8 上稀疏注意力甚至超过全注意力(0.99 vs 1.00 bits/byte),验证了稀疏归纳偏置的有效性。
标准注意力 O(n²) 复杂度限制了长序列建模。
将全注意力分解为 p 个稀疏注意力头:
组合后任何位置 n 步可达。复杂度从 O(n²) 降至 O(n√n)。
预激活残差块、注意力重计算(训练节省显存)、自定义 block-sparse GPU kernel。