724 字
4 分钟
Linearizer Framework
Linearizer 借助代数学中的「结构迁移」（transport of structure），在两个可逆网络之间放置线性矩阵。映射在诱导向量空间中精确线性，因此可以使用 SVD、伪逆和投影等工具。
定义
Linearizer 是一种架构：将线性矩阵 A 夹在两个可逆神经网络 g_x、g_y 之间：
在 g_x 和 g_y 诱导的向量空间（⊕_g, ⊙_g）中，f 是精确的线性映射：
- 诱导加法:
- 诱导数乘:
核心性质
| 性质 | 公式 / 描述 |
|---|---|
| 向量空间 | (V, ⊕_g, ⊙_g) 是合法向量空间（同构迁移） |
| 线性映射 | f: X→Y 在诱导空间间是线性映射 |
| 复合 | 两个 Linearizer 复合仍是 Linearizer：f₂∘f₁ = L{g_x, g_z, A₂A₁} |
| 迭代幂 | 共享 g 时 N 次迭代 = L{g, g, A^N} |
| Hilbert 空间 | 诱导内积 ⟨v₁,v₂⟩_g = ⟨g(v₁),g(v₂)⟩ 使诱导空间成为 Hilbert 空间 |
| 转置 | f^⊤(y) = g_x⁻¹(A^⊤ g_y(y)) |
| SVD | A=UΣV^⊤ 的奇异值就是 f 的奇异值，奇异向量通过 g 变换得到 |
| 伪逆 | f†(y) = g_x⁻¹(A† g_y(y))，Moore-Penrose 四条件成立 |
关键直觉
- 线性代数类比：类似特征分解/SVD——矩阵在特征基下最简，f 在 g_x/g_y 定义的”线性基”下就是矩阵乘法
- 几何直觉：g 是微分同胚，pullback 度量下潜空间直线 → 数据空间测地线，线性插值 → 语义连贯曲线
- 复合 = 矩阵幂：L∘^N(x) = g⁻¹(A^N · g(x))，将 N 步迭代合并为单次前向传播
应用场景
一步 Flow Matching
训练时用 Linearizer 参数化速度场 v = f(x_t, t) = g⁻¹(A_t · g(x_t))。推理时将 N 步 Euler 积分合并为单个矩阵 B = Π(I + Δt·A_{t_i})，生成只需一次前向传播 x̂₁ = g⁻¹(B·g(x₀))。
模块化风格迁移
固定 g_x/g_y，每种风格对应一个 A_style。风格插值直接对矩阵线性插值：A_{style(αx+(1-α)y)}。
幂等生成网络 (IGN)
f 幂等 ⇔ A 幂等 (A²=A)。架构层面强制特征值为 {0,1}，用 STE 前传 round(P)、反传连续梯度。全局幂等——整个空间都是有效源分布。
与相关概念对比
| 方法 | 线性化对象 | 关键区别 |
|---|---|---|
| Koopman 理论 | 动力系统 z_{t+1}=Kz_t | Linearizer 作用于任意映射 f |
| NTK | 参数空间线性 | NTK 输出仍非线性；Linearizer 是输入-输出空间线性 |
| Normalizing Flows | 概率分布 | NF 迁移概率分布（测度），Linearizer 迁移代数结构（向量空间） |
| 深度线性网络 | 欧氏基下线性 | 缺乏表达力；Linearizer 通过 g_x/g_y 保持非线性表达力 |
为什么重要
- 线性代数工具（特征值、SVD、伪逆、投影、矩阵幂）可直接应用于神经网络
- 为一步生成、风格迁移、幂等约束等任务提供了统一的数学框架
- 证明了拓扑约束下仍能拟合任意有限数据集（自由度在数据支撑外）
Linearizer Framework
https://blog.lpkt.cn/posts/concepts/linearizer-framework/