2.1 混合注意力：CSA + HCA（§2.3，核心创新）#

这一架构变动通过压缩 KV，减少 Attention 的计算量。

1
原始序列 → KV 沿序列维度压缩 → 压缩后的 KV → DSA（DeepSeek Sparse Attention）

1
原始序列 → KV 更激进压缩 → 极少量 KV → Dense Attention

2.2 Manifold-Constrained Hyper-Connections (mHC)（§2.2）#

动机：标准残差连接（$x + f(x)$）和 Hyper-Connections（可学习连接权重）存在训练稳定性问题。

mHC 的核心思路：

1. Hyper-Connections 通过扩展残差流宽度丧失了恒等映射（identity mapping），导致训练不稳定和可扩展性受限
2. mHC 将残差映射约束到特定流形，恢复恒等映射性质
3. 同时保持模型表达能力

三种连接：

2.3 DeepSeekMoE 变更（§2.1, §3）#

与 V3 的 MoE 相比，V4 的变更：

Hash routing：前几层改用 Hash 函数根据 input token ID 确定路由目标，简单高效。

2.4 Muon 优化器（§2.4, §3.4.1）#

• 基于 matrix orthogonality（矩阵正交性）的优化器
• 大规模训练需要两个关键改动：添加 Weight Decay + 逐参数更新尺度调整
• 比 AdamW 约 2× 计算效率（Scaling law）
• 分布式实现采用 ZeRO-1 风格，与 EP 兼容
• mHC 的实现通过重计算（recomputation）和融合 kernel 降低显存开销

3.1 MoE 通信-计算重叠（§3.1）#

详见 并行策略页面。

核心要点：

• Waved-EP：将 experts 拆成多波（waves），dispatch/compute/combine 交替重叠
• 单个 MoE 层 1.96× 加速，端到端 1.71×
• 需要 20 个 SM 专用 PTX 通信 kernel，绕过 NCCL

3.2 TileLang（§3.2）#

• DSL 层面的编程语言，平衡开发效率与运行性能
• <70 行 Python 表达多种 AI 算法，代码量减少 85.5%
• H100 上 3.02× 平均加速 vs Triton
• 核心理念：Tile-level 数据流图（FTG）+ 硬件感知默认值 + 约束传播自动补全

3.3 确定性 kernel 库（§3.3）#

• 批次不变（batch-invariant）且确定性的 kernel
• 跨训练和推理的逐位可复现性
• 对 RL 训练的可重复性至关重要

3.4 训练框架（§3.4）#

3.5 推理框架（§3.5）#

KV Cache 管理创新：

• 异构 KV Cache 结构：不同层/不同注意力类型使用不同压缩比的 KV
• On-disk KV Cache 存储：支持共享前缀复用（类似 prefix caching）
• 压缩后 KV 可持久化到磁盘，按需加载

4.1 数据构造（§4.1）#

• 32T（Flash）/ 33T（Pro）高质量多样 tokens
• 数据构造细节论文未详细公开

4.2 训练设置（§4.2）#

4.3 训练稳定性（§4.2.3）#

• 使用 Muon 优化器提升了训练稳定性
• mHC 的流形约束也有助于稳定训练
• 论文提到有专门的训练不稳定性缓解策略，但未详细公开

4.4 预训练评估（§4.3）#

V4-Flash-Base 在大多数 benchmark 上已超越 V3.2-Base。V4-Pro-Base 进一步在推理、编码、长上下文和世界知识任务上全面领先。

5.1 后训练流程：两阶段范式#

1
阶段1: 分领域独立专家训练
2
├── 数学专家: SFT → GRPO RL
3
├── 编码专家: SFT → GRPO RL
4
├── Agent 专家: SFT → GRPO RL
5
├── 指令跟随专家: SFT → GRPO RL
6
└── ...更多领域
7
        │
8
        ▼
9
阶段2: On-Policy Distillation 统一合并
10
├── 统一模型作为学生
11
├── 各领域专家作为教师
12
└── 优化 Reverse KL 散度

5.2 后训练基础设施（§5.2）#

• FP4 量化感知训练：MoE 专家权重和 indexer QK 路径的 FP4 QAT，降低内存和计算
• 高效教师调度：全词表 OPD 的教师调度优化
• 可抢占/容错 Rollout 服务：支持 RL 训练中的动态资源回收
• 百万 token 上下文 RL 扩展：专门处理超长 RL 上下文
• Sandbox 基础设施：Agent 任务的安全沙箱环境

6.1 知识与推理#

关键结论：

• V4-Pro-Max 在 SimpleQA 和中文知识上显著领先开源对手
• 在数学推理上优于 GPT-5.2 和 Gemini-3.0-Pro，略逊 GPT-5.4 和 Gemini-3.1-Pro
• V4-Flash-Max 在推理任务上接近 GPT-5.2 水平，推理成本较低

6.2 Agent 能力#

内部评测：超越 Claude Sonnet 4.5，接近 Opus 4.5 水平。

6.3 长上下文（1M token）#

• 在学术 benchmark 上超越 Gemini-3.1-Pro
• 1M token 上下文下推理 FLOPs 仅 V3.2 的 27%
• KV Cache 仅 V3.2 的 10%
• 原生支持，不需要额外的上下文扩展训练

6.4 中文写作（内部评测）#

6.5 Agentic Search vs RAG#

在搜索任务上，Agent 模式 vs RAG 模式：