LLM 架构进化史

瓶颈训练慢，翻译质量天花板到了。

多头注意力 + 位置编码 + 残差连接。BLEU 28.4 vs 之前 SOTA 26.3。8 张 P100 训 3.5 天。

后续所有工作，本质上都是在修这三点。一个一个来。

让网络学习"差值"而非直接映射，梯度有了高速公路可以直达输入层。

每个样本自己算均值和方差，不依赖 batch。Transformer 正是靠这个而不是 BatchNorm 来稳定训练。

ReLU 太硬了（负半轴一刀切零）。GELU 按概率加权：值大就保留，值小就过滤，梯度也平滑。

原版 Transformer 把 LN 放在子层之后（Post-LN），必须 warmup 才能训。把 LN 移到子层之前，warmup 直接扔掉，训练提速 40%。

去掉 LN 的均值计算，只算 RMS。LLaMA、Mistral、Gemma 全部改用这个。

QK 点积太大时 softmax 会"饱和"——所有注意力集中到最"亮"的那个词上。对 Q 和 K 分别做 L2 归一化，注意力分布更健康。

原来每个注意力头都有自己的 K 和 V（8 份）。MQA：所有头共用 1 份 KV。KV 缓存降到 1/8，推理加速 ~12 倍。

MQA 省得多但亏一点质量。GQA 是中间方案，Llama 2/3、Mistral、Gemma 2 都选它。

KV 缓存降到 MHA 的 14%。推理吞吐 8×H800 上超 50K tokens/s。质量还比 MHA 更好。

把全注意力拆成几个稀疏模式，复杂度降到 O(n√n)。问题是稀疏模式是固定的，一张图适用，文本不一定。

每个词只看前后 w/2 个词，复杂度 O(n×w)。靠层数堆出感受野。Mistral、Gemma 2 都采用。

改变算的顺序：(QK^T)V → Q(K^T V)，从 O(n²) 变 O(n)。结合分块策略，92K 长度显存恒定。

不是把位置信号 加 到词嵌入上，而是把 Q/K 向量 旋转——旋转角度正比于位置。好处：Q 和 K 的内积天然表达"相对位置"（多远），且不受绝对位置影响。几乎所有现代 LLM 都用了。

RoPE 在训练长度之外表现很差。YaRN 的解决办法：高频维度（区分相邻词）不插值，低频维度（编码全局位置）拉伸。Llama 3 用这个从 8K 扩展到 128K。

因果掩码（只能看前面）本身就给了模型顺序感。去掉位置编码后，长度泛化反而最好。这推动 Mamba 等模型彻底去掉了位置编码。

每个 token 送给得分最高的 k 个专家。加了噪声做负载均衡。17 年的 137B LSTM MoE 就已经做到了。

Top-2 太麻烦，每个 token 只发给 1 个专家。训练更稳定，首次实现万亿参数模型（Switch-C 1.6T）。

两招：① 把大专家切成很多小专家（组合更灵活）。② 设几个"公共专家"一直开着，处理所有 token 都需要的通用知识。145B 模型仅用 28.5% 计算量达到 67B Dense 的性能。

把门控（快速遗忘）和 delta 规则（精准更新）统一成一个递推公式。混合架构的新方向。

之前的 SSM（S4）是"对所有输入一视同仁"的，在需要"记住张三说的话、忽略李四说的话"时不够灵活。Mamba 让门控参数随当前输入变化，结果：3B 模型匹配 6.9B Transformer。推理 5x 吞吐提升。

把 Mamba 1 的递推公式展开成矩阵形式——恰好是一个结构化的注意力矩阵。有了这个视角，SSM 可以复用 Attention 的优化技巧。训练 2-8x 加速，状态维度从 16 提升到 256。

加了三个大招：① 复数状态（能处理旋转、奇偶校验等精确推理）。② 更精确的离散化方法。③ 多输入多输出（推理算术强度提升）。1.5B 超越 Transformer/Mamba 2/Gated DeltaNet。

标准残差只是"x + F(x)"。Hyper-Connections 让模型自己学：前一层该传多少到当前层？各层之间应该串联还是并联？

月之暗面交出的答案：每 3 层 KDA（线性注意力/RNN） + 1 层 MLA（标准注意力）。首次在大规模上全面超越纯注意力。位置信息由 KDA 编码，MLA 层用 NoPE。

训练一个轻量索引器，每步只选 top-k 个 KV 条目。复杂度从 O(n²) 降到 O(nk)。后训练用 GRPO 强化学习。Agent 能力大幅提升。

标准残差是"每层等权相加"。改用 softmax 注意力来聚合各层——模型自己决定哪一层的输出更重要。注意力不仅用在"序列方向"，还用在"深度方向"。

27B 模型超越 Llama 3 70B。怎么做到的？交错局部/全局注意力 + soft-capping + 蒸馏。不是在创新，而是把所有已知技术用到了极致。

为什么缺了它故事讲不通： 第三幕（注意力变体）里所有工作都在"减少计算量"，但 FlashAttention 走了完全不同的路——不减少计算量，但让每次计算都跑在最快的硬件上。

GPU 里有一种叫 SRAM（~20MB，超快）和 HBM（~80GB，相对慢）。标准注意力每次计算都读写 HBM，带宽是瓶颈。FlashAttention 把注意力矩阵分块，每块完整计算在 SRAM 中完成，最后写回 HBM。2-4x 训练加速。

没有 FlashAttention，不可能有 128K 上下文的 Llama 3，也不会有 MLA 的工程化。它是 LLM 时代的"混凝土"——没人谈论它，但每栋楼都在它上面。

为什么缺了它故事讲不通： 第六幕直接从 Transformer 跳到 Mamba 1 是断档的。一个称为 S4 的中间步骤非常重要——它证明了 SSM 可以做序列建模，但它的矩阵是固定的（时不变），不能根据输入动态选择记住什么、忽略什么。Mamba 的全部工作在"S4 的矩阵参数改为输入相关"——这个"选择性"的一小步，就是 S4 到 Mamba 的全部区别。

为什么缺了它故事讲不通： 第五幕从 Sparse MoE（2017，基于 LSTM）直接跳到 Switch Transformer（2021）。中间有一个关键：GShard 是第一个把 MoE 装进 Transformer 的，验证了"Top-2 路由 + 分布式专家分片 + 辅助负载均衡损失"这套流程可行。没有 GShard 的工程验证，Switch Transformer 和 DeepSeek MoE 可能走很多弯路。

为什么缺了它故事讲不通： 第四幕（位置编码）里 RoPE 和 NoPE 是两条路，但还有第三条路——ALiBi。它不是在 Q/K 上做文章，而是直接在 softmax 之前的注意力得分上减去一个距离偏置。越远的词减得越多。简单、效果好、且天然支持任意长度外推。它被 MPT、BLOOM 等模型采用，与 RoPE 形成了"你到底应该在哪个环节注入位置信息"这个问题的两个不同答案。