41 · DeepSeek-V4: 百万上下文 + 混合注意力

国产里程碑 1M上下文 DeepSeek · 2026.04
DeepSeek-AI · HuggingFace: deepseek-ai/deepseek-v4

上一代的问题：DeepSeek-V3.2 的 MLA 全注意力在 128K+ 上下文时二次复杂度不可承受；标准 KV 缓存随上下文线性增长，1M 上下文时 BF16 GQA8 的 KV 缓存大至无法实用。

这代改了什么：三轨混合注意力：CSA（压缩稀疏注意力，m=4 + DSA Top-K）+ HCA（重度压缩注意力，m'=128）+ 滑动窗口 (128)。配合 mHC 残差连接、Muon 优化器、FP4 QAT 量化。

效果：1M 上下文 KV 仅标准方案的 2%（Flash）至 10%（Pro）。MRCR 1M 达 92.9%（超 Opus 4.6 的 83.5%）。SWE Verified 80.8%。1.6T 参数/49B 激活。

一、架构总览

参数	V4-Pro	V4-Flash	V3.2
总参/激活	1.6T / 49B	284B / 13B	671B / 37B
MoE 专家	1 shared + 384 routed (6 active)	1 shared + 256 routed (6 active)	1 shared + 256 routed (8 active)
注意力	CSA + HCA + SWA	CSA + SWA	MLA (全注意力) + DSA
残差连接	mHC (n=4)	mHC (n=4)	标准残差
优化器	Muon	Muon	AdamW
训练 token	33T	32T	14.8T
上下文	1M	1M	128K

KV_CSA: 每 m=4 个 token 压缩为 1 个，DSA Top-K=1024
KV_HCA: 每 m'=128 个 token 压缩为 1 个，全注意力
KV_SWA: 滑动窗口 n_win=128，局部细粒度依赖

三轨并行：CSA 负责中等粒度、HCA 负责全局语义、SWA 负责局部精度

详见 #39 mHC 笔记。双随机流形约束的 n 流残差连接，Amax Gain 从 3000 降到 1.6，仅 6.7% 开销。

替代 AdamW 用于除 Embedding/Head/Norm 外的所有参数：

M_k = a·M_k-1 + b·(M·M^T)·M + c·(M·M^T)²·M

混合 Newton-Schulz 迭代：8 步快速收敛 + 2 步稳定

基准	V4-Pro	V3.2	Opus 4.6	Gemini 3.1
MMLU	90.1	87.8	--	--
SimpleQA	55.2	28.3	57.9*	75.6*
HumanEval	76.8	62.8	--	--
MRCR 1M (MMR)	92.9	--	83.5	76.3
CorpusQA 1M	71.7	--	62.0	53.8
SWE Verified	80.8	73.1*	80.6	--
Putnam 2025	120/120	--	--	--

MegaMoE：Dispatch/Computation/Combine 三合一 fused kernel，1.5-1.73x 加速
TileLang DSL：Domain-Specific Language 编写高效 kernel，CPU 调用开销 <1μs
FP4 QAT：MoE 权重 + CSA indexer QK path 量化为 FP4，2x 加速，99.7% KV recall
On-Policy Distillation：全词汇 reverse KL 蒸馏替代混合 RL，稳定训练
DSec Sandbox：Rust 沙箱平台，统一 Python SDK 管理 Function Call/Container/microVM/fullVM
异构 KV 缓存：State Cache（SWA 固定大小）+ 块级 Cache + 磁盘存储

V4 最令人印象深刻的是系统级创新密度——混合注意力、mHC、Muon、FP4 QAT、MegaMoE、TileLang、DSec Sandbox……几乎每一层都有原创贡献。这不仅仅是"更大的模型"，而是一个完整的系统工程升级。

混合注意力（CSA + HCA + SWA）的设计理念值得关注：不做单一选择，而是三个互补机制并行——局部精度、中等粒度稀疏、全局语义各司其职。这让 1M 上下文变得实用（KV 仅标准方案 2%），而不是理论可行。