LLM 架构演进 · 论文精读笔记

Transformer 原文 + 激活函数 + 归一化——从零理解 LLM 的基石。

从 MQA 到 MLA，注意力机制的计算优化演进。

从正弦波到旋转位置编码，位置信息如何塑造 LLM。

稀疏激活——让万亿参数模型变得可行。

Mamba 系列——注意力机制的替代方案？

Attention + SSM + Conv + MoE 的组合创新——2024-2026 年的新趋势。

模型架构之外的另一半：KV Cache 管理、调度、结构化生成——让 LLM 真正跑起来的工程学问。

超越单模型推理，多 Agent 协调与去中心化。

Attention 之外的路：可增长记忆 RNN、状态空间模型的前身。

补上这四篇，故事线完整了：FlashAttention（硬件加速）→ S4（SSM 基础）→ GShard（MoE+Transformer）→ ALiBi（位置编码另一条路）。

DeepSeek 系列最新三篇深度笔记——mHC、R1、V4。

Transformer 可视化教程（与上面笔记有重叠，但以教程形式编写，适合入门阅读）。