Dense Attention 的问题#

• 每个 query 与所有 key 做全对全比较 → O(n²)
• 翻倍上下文 = 四倍计算
• 训练好的模型中，绝大多数 attention weights 接近零 → 大量计算贡献有限
• FlashAttention 优化了执行方式，但没有改变底层 scaling law

SSA 的核心创新：内容依赖选择 (Content-Dependent Selection)#

1
┌─────────────────────────────────────────────────────┐
2
│  Dense Attention:  Q × 所有 K → O(n²)               │
3
│  SSA:              Q → 动态选择相关 K → O(n·k)      │
4
│                    (k << n, 由内容决定)              │
5
└─────────────────────────────────────────────────────┘

三个同时满足的特性：

1. 线性缩放 — 计算与显存随序列长度线性增长，而非二次方
2. 内容依赖路由 — 基于语义而非位置决定关注哪里，相关信息无论在哪都能检索
3. 任意位置精确检索 — 不压缩、不摘要，能从极远处恢复特定信息

与现有方案的对比#

加速比#

在这组测试中，上下文越长，SSA 的相对加速越明显。

Benchmark 成绩#

MRCR v2 — 最严峻的长上下文检索测试：需要定位并整合多个非相邻证据片段。SubQ 显著领先 GPT 5.4（36.6%）和 Gemini 3.1 Pro（26.3%），显示出长上下文检索的潜力。

RL 阶段的独特设计#

长上下文失败往往看起来合理但实际错误：

• 用近处容易获取的上下文回答，忽略远处决定性证据
• 生成局部正确的代码 patch，违反别处定义的接口
• 摘要之前的决策而不是保留确切约束

→ RL 阶段针对这些失败模式设计，训练数据强调高信息密度、交叉引用结构的长文本源（如完整代码库、长合同、跨文档研究）。

训练基础设施#

百万 token 长度下，训练本身就是系统问题：

• 单设备放不下 → 分布式序列并行切分序列
• 梯度不稳定 → 数值精度和 kernel 效率需专门处理
• 线性内存缩放贯穿整个训练 pipeline

这些优化也能降低长上下文训练的实验成本，让迭代更容易。