LLM 优化器的新设计空间：2024 年后的几何、统计、尺度与系统

2.1 所有一阶优化器都在回答三个问题#

设一层权重为矩阵 $W\in\mathbb{R}^{m\times n}$，当前小批量损失为 $L(W)$，梯度为 $G=\nabla_W L$。在一个足够小的更新 $\Delta$ 附近，二阶 Taylor 展开是

其中 $\langle A,B\rangle=\mathrm{tr}(A^\top B)$，$\mathcal H$ 是 Hessian 作用在更新上的线性算子。第一项希望更新与负梯度对齐，第二项惩罚沿高曲率方向走太远。一个优化器至少要回答：

1. 用当前梯度还是某种历史估计作为方向？
2. 怎样定义“更新很大”——逐坐标、逐块、Frobenius 范数还是谱范数？
3. 允许走多远——全局学习率、分层尺度、权重衰减和调度如何组合？

SGD 取 $\Delta=-\eta G$。AdamW 则维护

并逐元素更新

它的优点是每个坐标都有自己的历史尺度，工程经验非常成熟；代价是两个与参数等大的状态，而且把矩阵元素视为某组固定坐标下彼此独立的量。

2.2 范数如何改变“最速下降”方向#

给定一个范数 $\lVert\cdot\rVert$，线性化的信赖域问题是

最优值由对偶范数 $\lVert G\rVert_*=\max_{\lVert D\rVert\le1}\langle G,D\rangle$ 决定；所以“梯度最快下降方向”必须先说明用什么几何量更新大小。把动量与二阶矩暂时去掉，逐坐标 sign 更新是 $\ell_\infty$ 几何下的最速方向；矩阵的谱范数几何则会导出 Muon。Bernstein 与 Newhouse 研究团队的 Old Optimizer, New Norm(2024) 系统整理了这套对偶范数语言。它提供了设计地图，却没有自动证明某个范数最适合 LLM——那仍是结构假设和实验问题。

3.1 Shampoo 与 SOAP：从二阶统计中寻找坐标系#

Shampoo 为矩阵梯度维护左右二阶统计并近似预条件：

若只看单步 $G=U\Sigma V^\top$，左右因子恰好把 $G$ 变成 $UV^\top$，显示 Muon 与 Shampoo 并非毫无关联；区别在于 Shampoo 积累历史二阶矩并显式求矩阵逆根，成本更高。

Harvard 的 SOAP: Improving and Stabilizing Shampoo using Adam(2024) 把这个关系变成算法：定期求 $L,R$ 的特征基 $Q_L,Q_R$，将梯度旋入

在该坐标系内运行 Adam 的一、二阶矩，再把更新旋回。直觉是 Shampoo 找“好坐标”，Adam 在好坐标中调每个方向的尺度。其原论文在 360M/660M 模型上报告明显 iteration 和 wall-clock 收益；代价是大约 $2m^2+2n^2+3mn$ 的矩阵状态、定期特征分解及通信。后续公平基准发现 SOAP 在短程或某些数据倍率上强，长训练时 AdamW 可能追平或反超。它展示了几何与统计可以组合，也展示了更丰富预条件器未必在系统端免费。

3.2 Muon：谱范数几何中的矩阵符号#

3.3 LoRA-Muon：低秩因子为何需要专门的 Muon 几何#

把普通 Muon 分别用于 LoRA 的两个二维因子，代码上可以运行，却不再保留 Muon 在合成权重空间中的谱范数最速下降含义。令冻结权重上的适配量为 $Z=AB^\top$，其中 $A\in\mathbb R^{m\times r}$、$B\in\mathbb R^{n\times r}$。若直接计算

则合成矩阵的一阶变化为 $\Delta Z=\Delta A B^\top+A\Delta B^\top$。问题在于同一个 $Z$ 有无穷多种因子表示：对任意可逆矩阵 $R$，$(A,B)$ 与 $(AR,BR^{-\top})$ 完全等价。仅看标量变换 $(cA,B/c)$，直接 factor-wise Muon 产生的两项却分别按 $1/c$ 与 $c$ 改变；模型函数没有变化，优化器轨迹和合适学习率却会变化。这种 gauge 依赖 说明优化器实际作用在任意选定的因子坐标，而不是 LoRA 真正表示的低秩矩阵上。

Ateneo de Manila University、UNamur 与 EleutherAI 的研究团队在 LoRA-Muon(2026) 中直接把信赖域限制到秩 $r$ 矩阵流形的切空间。记 $G=\nabla_ZL$，$P_A=A(A^\top A)^{-1}A^\top$、$P_B=B(B^\top B)^{-1}B^\top$，论文把两条切向分量各分一半谱范数预算，得到合成更新

这一步解释了“特化”究竟特化在哪里：完整 Muon 的 $-\eta\operatorname{msign}(G)$ 通常是全秩方向，直接采用会离开 LoRA 的低秩可行集；分别 polar 两个因子又会选错几何。LoRA-Muon 改为先把完整 Muon 方向限制到当前低秩矩阵允许的一阶变化中。实际反向传播只给出 $\nabla_A L=GB$ 与 $\nabla_B L=G^\top A$，所以其因子形式还要用另一个因子的 Gram 矩阵白化：

投影矩阵 $P_A,P_B$ 只依赖因子的列空间，因此上述 $\Delta Z$ 在完整 gauge 变换下保持不变；同一个适配矩阵不会再因分解尺度不同而改变更新。weight decay 也要随之特化：若对 $A,B$ 各乘一次 $(1-\eta\lambda)$，$Z$ 会被衰减为 $(1-\eta\lambda)^2Z$。论文改用 $s=\sqrt{1-\eta\lambda}$ 同时缩放两个因子，并以 $s^{-1}$ 缩放增量，使乘积上的一阶衰减恢复为 $(1-\eta\lambda)Z$，只留下二阶交叉项。

因此，“不能直接用”的准确含义是：普通 factor-wise Muon 可以作为经验算法训练 LoRA，但它不是 dense Muon 的低秩代理，学习率也没有理由跨 rank、宽度或因子缩放迁移。新方法的 TinyShakespeare 实验中，rank 2 已找回 dense Muon 的最佳测试学习率，rank 32 在六个种子的 sweep 中取得更低平均验证损失，且学习率曲线对因子缩放近似不变；证据仍限于小型字符级语言模型，尚未覆盖大模型下游微调。严格推导还要求 $A,B$ 满列秩，数值实现会给 Gram 逆平方根加小对角正则；常见的单侧零初始化在第一步位于该定理的边界，不能把理想 gauge 不变性原样套用。

3.4 从离散方法到连续谱：Muon$^p$#

Princeton 的 Muonp: Muon with Fractional Spectral Powers(2026) 使用

$p=0$ 是完全压平奇异值的 Muon，$p=1$ 退化为普通梯度；它还是 Schatten-$q$ 范数下的最速方向，其中 $q=1+1/p$。这把“Muon 对普通梯度”从离散选择改写为谱变换强度的连续问题：预训练需要充分抬升弱模态，不代表微调或低信噪比梯度也应完全丢掉奇异值幅度。

3.5 ARO：把旋转坐标本身变成优化变量#

Microsoft Research、CUHK-Shenzhen 与 UW–Madison 的 ARO: A New Lens on Matrix Optimization for Large Models(2026) 先在旋转坐标 $W=RZ$ 中使用基础变换 $f$，再映回原空间：

它选择能让原动量与变换后方向更对齐的自适应旋转，概略写成

在特定理想化下，固定坐标的逐元素方法、Shampoo/SOAP 的特征基更新与 Muon 的 polar 旋转可以放入这一形式。ARO 由此把空间几何的设计问题从“选哪个范数”继续推进到“每一步先选哪个坐标系”。其 ARO-Sinkhorn 版本在原论文至多 8B、过训练与 MoE 设置中报告优势，但截至本文日期仍是新预印本。

4.1 AdEMAMix：双时间尺度梯度记忆#

EPFL 与 Apple 的 AdEMAMix(2024) 同时维护快、慢两条一阶 EMA：

更新分子变为 $\widehat m_t^{(1)}+\alpha m_t^{(2)}$，分母仍用 Adam 二阶矩。EMA 权重的半衰期约为 $\log(1/2)/\log\beta$：$\beta=0.9$ 只有约 6 步，$\beta=0.9999$ 约 6931 步。快动量跟踪局部方向，慢动量累积在单步中很弱、跨很久仍一致的信号。

把递推式展开，可以更清楚地看到它是两个时间滤波器的叠加：

单个 $\beta$ 只能在“重视最新梯度”和“给很老梯度非零权重”之间选一点；两个指数核则分别负责短程响应与长程积累。原论文用三组实验隔离了这个机制：直接把 AdamW 的 $\beta_1$ 调大不能复现收益；从 AdamW checkpoint 中途启用第二条 EMA 后仍能改善；移除慢 EMA 后优势下降。由于慢状态在训练早期尚未可靠，$\alpha$ 与 $\beta_3$ 还需逐步升高，这说明 warmup 不是附属技巧，而是控制滤波器偏差的组成部分。

论文报告 1.3B 模型用约 51% 更少 token 达到所调 AdamW 的相近 loss；独立 EPFL 基准也把它列为多个设置中的强方法。这个结果支持“长程一致信号确有价值”，但没有识别哪些数据或参数产生了该信号。成本是再增加一个参数等大的状态；若数据分布、课程或训练目标突然改变，慢记忆也可能把旧方向拖进新阶段。因此，它的适用边界更接近长时间平稳预训练，尚缺跨所有训练阶段的默认安全性证据。

4.2 MARS：先修正随机方向，再选择预条件器#

UCLA 与 ByteDance Seed 的研究团队在 MARS(2024) 中受 STORM 方差缩减启发，构造近似修正梯度

再对 $c_t$ 做 EMA，并可接 Adam、Lion 或 Shampoo 式预条件器。它把“估计一个低方差方向”和“用什么几何缩放该方向”显式拆开。严格 STORM 通常要求在相同随机样本上比较相邻参数的梯度，LLM 实现使用历史梯度近似，理论和实践之间存在缝隙。原论文 GPT-2 实验很强；Stanford 基准把精调后的 MARS 放回与 AdamW 接近的标量方法群，EPFL 又观察到它在部分大 batch 设置较强、在长训 MoE 中落后 AdamW。原论文与独立基准对 batch regime 的结论也不一致；目前最稳妥的判断是 MARS 对 batch、训练长度与 exact/approx 实现高度敏感。

更严格地说，STORM 型修正希望比较同一批样本 $\xi_t$ 在相邻参数上的梯度：

括号内两项共享采样噪声，差值主要反映参数移动带来的梯度变化，因而可充当控制变量。实际 LLM 训练若严格计算它，需要对同一 batch 多做一次反向；MARS-approx 改用 $g_t-g_{t-1}$，省掉额外梯度，却把“参数差”与“batch 差”重新混在一起。MARS 还用 $c_t^2$ 而不是 $g_t^2$ 更新二阶矩，使预条件器与修正后的方向在尺度上匹配。这个框架能分别接到 AdamW、Lion 和 Shampoo 上，说明“方向估计”确实是一条可与空间几何正交组合的主线。

4.3 Cautious 与 AdaGC：拒绝冲突方向和局部异常#

Meta、FAIR 与 UCLA 等团队的 Cautious Optimizers(2024) 用当前梯度检查历史更新方向。若基础优化器给出候选方向 $u_t$，最简单的 cautious mask 是

即只保留能与当前负梯度形成局部下降的坐标，并可重新缩放 mask 以维持更新 RMS。连续时间分析表明，在相应 Hamiltonian-descent 假设下，该掩码能让能量和损失下降；离散结论则要求损失光滑且步长落在给定范围内。它证明的是从同一点出发的单步比较，多步后两条轨迹进入不同区域，不能推出全程支配。原论文在 LLM 预训练中把这行操作接到 AdamW、Lion 等方法上报告改善。若把它接在 Muon 的 polar 之后，逐元素 mask 会破坏半正交结构；若先 mask 再 polar，polar 又会重新混合坐标。因此这种组合可以实现，却需要重新解释其几何并单独消融。

Baidu 的 AdaGC(2025) 处理的是另一种不可信：某个 tensor 的梯度范数突然远离自身历史。它为每个 tensor $i$ 保存范数 EMA $\gamma_{t,i}$，并在梯度进入优化器状态之前执行

相对阈值同时解决全局 clipping 的两个盲点：不同 tensor 的正常尺度不同；小模块的异常可能被全局范数淹没。每个 tensor 只需一个标量状态，并减少跨 pipeline/tensor-parallel 组计算全局范数的通信。对无动量且精确 polar 的理想化 Muon，正标量满足 $\mathrm{polar}(cG)=\mathrm{polar}(G)$，tensor 级 clipping 会被消去；实际 Muon 先把每步裁剪后的梯度积入动量，时间变化的系数仍会改变长期方向。其边界也很明确：它能阻止“异常梯度进入状态”这条传播路径，无法修复数据损坏、forward 溢出或架构本身导致的持续不稳定。

4.4 SPAM：异常值为何会变成长期状态污染#

University of Exeter、Eindhoven University of Technology 等机构的研究团队在 SPAM(2025) 中更直接处理梯度 spike 对 Adam 状态的污染。极端梯度进入 $m_t,v_t$ 后，一阶影响要若干步才消退，平方进入二阶矩后的影响更久；SPAM 因此周期性 reset momentum，并用基于当前二阶统计的在线阈值裁剪异常坐标。其 sparse-momentum 版本只为随机抽取的参数子集保存状态。作者在 60M—1B 预训练、4-bit 训练和微调中报告稳定性/显存收益，但理论只是有限 regret 讨论，尚无前沿规模采用。它把一个容易被“最终 loss”掩盖的价值显式化：少一次 spike 导致的回滚，可能比平均快几个百分点更值钱。

若某坐标在时刻 $t_0$ 出现 spike $a$，它对后续二阶矩的残留量近似为 $(1-\beta_2)\beta_2^k a^2$；当 $\beta_2$ 接近 1 时，即使后续梯度恢复正常，分母 $\sqrt{v_t}$ 仍会长期压小该坐标的更新。周期 reset 缩短了污染寿命，spike-aware clipping 限制污染幅度，sparse momentum 则把稳定性设计与状态压缩连接起来。这一分析把方向统计主线的共同问题说得更完整：历史既能积累弱信号，也会积累错误，因此“记多久”与“哪些样本值得记”必须共同设计。

5.1 Schedule-Free：用在线平均承担后期稳定化#

Meta 等机构的 The Road Less Scheduled(2024) 不预先指定训练终点 $T$ 再设计 cosine decay，而维护快序列 $z_t$、加权平均 $x_t$，并在插值点

计算梯度。直觉上，传统 schedule 用越来越小的步长把后期迭代稳定下来；Schedule-Free 用“快速探索 + 在线平均”分担同一职责。它赢得 MLCommons 2024 AlgoPerf self-tuning track，但仍需要 warmup，学习率和 weight decay 也需重新调，不能理解成“无超参数”。独立 LLM 基准还发现其扩展性依设置而变。

完整结构还包括快速点和平均点的递推：

其中 $P_t$ 可以是 AdamW 的对角预条件器，$c_{t+1}$ 在 warmup 后约按 $1/t$ 衰减。训练梯度在 $y_t$ 计算，使近期快速点仍对方向有较大影响；评估则使用更平滑的 $x_t$。论文还推导出线性 decay 可被看成这类平均递推的一个特殊选择：传统 schedule 把“越接近终点越少移动”编码进学习率，Schedule-Free 把它编码进输出序列的平均权重。因此，它把 schedule 承担的稳定化机制从步长序列搬到迭代序列。

这一路线的证据跨任务较广：除 124M GPT-2 外，还覆盖视觉、语音、推荐和凸问题，并在 AlgoPerf self-tuning track 的多数可评任务上优于或持平基线。但 LLM 证据规模有限，训练态使用 $y_t$、评估态使用 $x_t$ 也会给 BatchNorm 等含运行统计的模块带来额外处理。最关键的边界是：它仍需 warmup，并且最优学习率与 weight decay 通常不同于 cosine 配方。

5.2 Adam-mini：从逐元素尺度压缩到 Hessian block#

Adam-mini 从空间粒度切入。CUHK-Shenzhen 等机构的 Adam-mini(2024) 保留完整一阶动量，却让一个 Hessian 启发的参数 block 共用二阶标量：

它挑战的是“每个元素都需要独立学习率”的假设。作者报告 optimizer footprint 约减半，并在至多 13B 训练中得到吞吐收益；风险是分块错误会把本应不同的尺度混在一起。

这一粒度细于整层共享一个学习率。论文的假设是 Transformer Hessian 近似分块对角，而不同块的谱差异很大；所以至少要给每个稠密 Hessian 子块一个尺度，但块内逐元素二阶矩可能冗余。若 $b$ 是一个块，Adam-mini 的更新为

$v_{b,t}$ 是标量，因而块内仍保留不同的动量方向，只共享幅度。Q/K 按 head、MLP 与输出投影按输出神经元、embedding/head 按 token 分组，是把经验 Hessian 结构翻译成优化器接口。论文显示 PyTorch 默认 tensor 分组会令 1B 设置不稳定，进一步拆块才恢复训练；这既支持“结构化尺度”假设，也暴露其可移植性成本：架构一变，分块规则可能需要重做。

从资源角度看，Adam-mini 几乎删除完整 $v_t$，却仍保存完整 $m_t$，所以优化器状态约减半；从优化角度看，它还可能减少噪声很大的逐坐标学习率。论文报告在 2 张 A800 上训练 7B 时，节省的状态允许更大 microbatch 并提高吞吐，但这些数字依赖具体并行与显存瓶颈。这些证据支持“二阶尺度可以粗于参数级”，同时要求多个矩阵块仍保留彼此不同的尺度。

5.3 形状感知 RMS：谱方向的元素步长如何随形状变化#

空间几何给出方向后，还要把不同形状矩阵放到可比较的尺度。若 $O=UV^\top\in\mathbb R^{m\times n}$ 满秩，$r=\min(m,n)$，则

矩阵所有元素的均方根为

因此，同一全局学习率会让不同形状的 Muon 矩阵得到不同元素级步长。Moonshot 的可扩展配方乘 $0.2\sqrt{\max(m,n)}$，把更新 RMS 大致对齐到常用 AdamW 尺度；苏剑林在 《Muon续集：为什么我们选择尝试Muon？》(2025) 给出了同一推导。这个例子说明几何与尺度是两条不同坐标：polar 决定奇异方向怎样加权，shape-aware factor 决定整块矩阵实际走多远。若不把二者分开消融，所谓“谱几何收益”可能混入形状错配。

5.4 NorMuon 与 Muon Split：神经元和 head 是新的尺度单元#

Georgia Tech 与 Microsoft 的 NorMuon(2025) 又把这种 block scale 接到 Muon 后面：先得到 $O_t\approx\mathrm{polar}(M_t)$，再为每一行维护

按 $1/\sqrt{v_{i,t}}$ 归一化，并重新对齐整体 RMS。若 $m\le n$ 且 polar 精确，则 $OO^\top=I_m$，每行平方均值严格相同，行统计理论上没有新信息；实际 NS5 只是近似 polar，$m>n$ 时又只满足列半正交，行尺度才保留自由度。作者在 124M、350M、1.1B 与 5.4B 上报告相对 Adam/Muon 的 step-efficiency 收益，额外状态只有每行一个标量，但单步计算略高于 AdamW。Tilde Research 的研究团队在 Aurora(2026) 中进一步指出，对高矩阵强做行归一化会与列半正交约束竞争，并把“polar 精度”和“神经元更新均匀”写成双约束问题。这是一个很典型的新趋势：有效方法往往来自多条线的组合，组合次序与约束冲突本身也是算法定义。

GLM-5 的 Muon Split 是同一问题的工业化版本。大 Q/K/V projection 若整体 polar，不同 attention head 的奇异子空间会在一次矩阵变换中耦合；按 head 拆分后分别正交化，使各 head 拥有独立方向几何。对于形状相同的 head，shape-aware RMS 并不会自动产生可学习的 head-specific 学习率，因此这里改变的首先是 polar 的作用域，而不是凭空增加动态步长。报告中的受控架构表显示它缩小了 MLA 相对 GQA-8 的差距，并保持 attention logit 稳定。这证明“矩阵如何分组”并非实现细节，而是优化器归纳偏置的一部分。

5.5 宽度尺度与超参数迁移#

当模型宽度从 $w$ 放大到 $cw$ 时，即使数据和深度不变，向量范数、算子范数与梯度尺度也会引入维度因子。均值归一化范数把这个因子显式写出：

相应的矩阵算子范数为

University of Chicago、UBC 与 Northwestern 的 MOGA(2026) 用这套语言分析多层复合时的宽度缩放，并把 Adam/SignSGD 的 $\mu$P 学习率规则、Muon 类矩阵几何与 row-normalized 变体放在同一框架下。它试图让小模型调出的峰值学习率迁移到更宽模型，从而减少昂贵的 frontier-scale 搜索。论文在 GPT-2 124M—1.5B 等设置展示迁移，但截至本文日期仍是新预印本，其 width-independent bound 依赖特定 smoothness 与参数化假设。它与 Schedule-Free 解决正交问题：前者处理宽度变化，后者处理未知停止时间。

6.1 GaLore：只在活跃低秩子空间保存 Adam 状态#

GaLore 保持全量权重可变，同时只在低秩子空间中保存优化器状态。若 $P,Q$ 是周期更新的低秩基，先算

在 $R_t$ 上运行 Adam，再把更新映回 $P\,\rho(R_t)Q^\top$。Caltech、Meta、UT Austin 与 CMU 的 GaLore(2024) 报告最高约 65.5% 的 optimizer-state 节省，并训练了 7B 模型至 19.7B token。全参数仍可改变，但每一时刻只有被子空间捕获的方向拥有精细状态；SVD、rank 和刷新周期决定遗失多少信号。

实践常只在较短一侧投影。若 $m\le n$、$P_t\in\mathbb R^{m\times r}$，则

完整 Adam 状态需要 $2mn$ 个数，低维一、二阶矩只需 $2rn$，另加投影矩阵 $mr$。周期性 SVD 更新 $P_t$ 使多个低秩阶段累加后仍能形成全秩权重轨迹；固定子空间虽然有条件性收敛理论，却只能保证在该子空间内前进。刷新太慢会错过已经旋转的梯度子空间，太快则增加 SVD 成本并频繁重置状态语义。GaLore 因而形成“状态压缩率—子空间追踪误差—分解成本”的三方权衡。

6.2 Adam-mini 与 APOLLO：压缩尺度，而非完整重建更新#

Adam-mini 已在上一节作为尺度方法介绍；从资源角度看，它保留 $mn$ 个一阶动量，只把 $mn$ 个二阶数压成少量 block 标量，所以是“约减半 Adam 优化器状态”，并不等于总训练显存减半。APOLLO 走得更远：它认为 Adam 最不可缺的不是低维空间中的完整更新方向，而是 channel/tensor 级缩放因子。

UT Austin 与 Meta 的 APOLLO(2025) 把 Adam 看成“从梯度估计缩放系数”，随机投影后不必重建完整预条件更新，只需用低维状态估计 channel-wise scale；APOLLO-Mini 甚至每个 tensor 只估一个尺度。它与 Adam-mini 共同说明：很多二阶状态的实际作用可能是提供一个粗粒度幅度，而非每个坐标不可替代的曲率知识。

令随机矩阵 $P\in\mathbb R^{r\times m}$、$R_t=P G_t$，在 $R_t$ 上维护低维 Adam 状态并得到 $\widetilde R_t$。第 $j$ 个 channel 的缩放估计为

高斯随机投影以高概率近似保持列向量范数；在论文的块内二阶矩近似下，低维缩放与全维结构化 Adam 缩放相差一个约 $\sqrt{r/m}$ 的可校准因子。APOLLO-Mini 取 $r=1$，最终只生成 tensor 级尺度，但投影空间的一、二阶矩仍各有约 $n$ 个数，状态是 $O(n)$ 而非一个标量，整体成本接近带动量 SGD。这里的关键区别是：GaLore 用投影后的 Adam 方向回写权重，APOLLO 只用投影空间估计幅度，全维原始梯度方向仍参与更新；因此 APOLLO 可用随机投影避开周期 SVD，但其理论依赖范数保持与块内尺度近似。

原论文在 60M—7B、短上下文设置报告与 AdamW 相当或更好的质量，并把释放显存转成更大 batch 和约 3 倍特定硬件吞吐；OmniOpt 后来观察到 APOLLO 在短上下文的质量—显存 Pareto 很强，却在 32k context 明显退化。作者将其联系到长上下文下梯度有效秩升高。这一反例正好界定了资源压缩假设：当“重要信息可由低维范数统计代表”不再成立，省下的状态会以质量损失偿还。

6.3 COAT：改变状态的数值表示#

UC Berkeley、NVIDIA、MIT 与清华的 COAT(2024) 保留主要下降律，并用动态范围扩展将 optimizer states 与 activation 压到 FP8。论文在 OLMo-1B/300B token 与 7B/250B token 中得到接近 BF16、但数值并非完全相同的质量，并在完整 COAT 系统中报告约 1.54x 端到端显存节省、1.43x 加速；这些倍数同时包含状态、激活和 batch 放大，不能归因于 optimizer quantization 单项。它提醒我们：优化研究还能购买相近 loss 下的更少 GPU、更大 microbatch 与不同梯度噪声条件。

直接把状态 $X$ 做分组 FP8 量化时，少数大值与大量接近值会浪费可表示区间。COAT 先应用可逆幂变换

其中动态范围 $\mathcal R_X=\max|X|/\min|X|$，再量化 $f_k(X)$；反量化后用 $f_k^{-1}$ 恢复。按 $k=\log \mathcal R_{\mathrm{FP8}}/\log \mathcal R_X$ 选择指数，可以让当前 group 更充分占用 FP8 范围。二阶矩的原始动态范围通常比一阶矩更窄，所需 $k$ 也更大。论文以实际更新项 $m/\sqrt v$ 的均方误差评估量化，而不是只看状态本身误差，并把激活采用的混合粒度量化一起计入端到端收益。

这条路线与前三条在概念上正交：解码后的 $m,v$ 仍进入 AdamW 原更新律，变化的是统计量能以多少比特可靠保存。它也最依赖硬件与 kernel；“FP8 状态更小”只有在量化、反量化和非线性变换不抵消吞吐时才转化为 wall-clock 收益。

6.4 Muon：少一个状态，增加矩阵计算与通信#

Muon 为矩阵参数只保存一个完整动量，状态维度约为 $mn$，低于 AdamW 的 $2mn$；但每步 Newton—Schulz 需要多次矩阵乘法，分片训练还可能先 gather 出具有完整矩阵语义的动量。若并行切片恰好切断 head、expert 或行列结构，直接对本地 shard 做 polar 会得到另一个数学对象。Moonlight 的 Distributed Muon 报告其 DP 通信工作量约为对应 Distributed AdamW 的 $(1,1.25]$ 倍，而非随状态数减半；GLM-5 与 DeepSeek-V4 又通过同形矩阵批处理、让不同 rank 分担正交化、重叠通信和计算等方式支付这笔成本。因此“一状态”只描述存储端，不足以预测总时间；资源主线最终必须同时核算状态字节、临时峰值、矩阵乘法、all-gather 与可用 microbatch。

7.1 局部几何与长期轨迹#

7.2 表征统计与功能定位#

7.3 曲率和数据不均衡：连接到局部损失#

NUS、Yale 与 University of Minnesota 的 Why Muon Outperforms Adam: A Curvature Perspective(2026) 把一步损失下降拆成

再定义归一化方向锐度

在 matched validation loss 的 124M FineWeb 实验中，Muon 与 Adam 的一阶收益和更新范数接近，Muon 的优势主要表现为更低 NDS，即它的方向穿过了更低曲率区域。作者再用可控 Zipf 不均衡的 PCFG 数据观察到：数据越长尾，Muon 相对 Adam 的 NDS 差距越大；中后期主要来自 layer 内 Hessian block，而非跨层项。在异质曲率的二次模型中，谱归一化把更新能量更均匀分配到高低曲率组，从而能得到更小平均 NDS。

这是比“有效秩更高”更接近损失机制的证据，但仍受 Hessian 计算规模限制，理论模型也假设曲率异质且梯度偏向高曲率模态。它尚未证明相同机制能定量解释 K2 或 GLM-5 的全部收益。

7.4 Frank—Wolfe 与隐式偏置：轨迹终点和优化器切换#

UC San Diego 的 Lions and Muons: Stochastic Frank—Wolfe Methods for Training Neural Networks(2025) 指出，带 weight decay 的 Lion/Muon 可写成在相应范数球上的随机 Frank—Wolfe 更新：线性最小化 oracle 在谱范数球上正返回极因子方向。该框架能讨论 Frank—Wolfe gap、KKT 条件与重尾噪声下的收敛。

另一侧，线性可分或线性回归的理想化分析表明 sign/Adam 代理与 Muon 会偏向不同范数的最小范数或最大 margin 解。这也解释了一个重要负结果：用 Muon 微调 Adam 预训练权重，或反过来，可能发生 optimizer mismatch；561M NanoChat/约 11B token 的实验中，匹配预训练优化器更稳，LoRA 限制更新范围后差距缩小。该实验把普通 Muon 直接施加于两个 LoRA 因子，回答的是“低秩约束能否缓解 checkpoint mismatch”；第 3.3 节的新 LoRA-Muon 则进一步回答“怎样让低秩更新保留 dense Muon 的谱几何”，两者同名但算法对象不同。隐式偏置说明 checkpoint 携带了优化器历史，仍不等于证明某种偏置对所有下游任务更好。

7.5 旋转与对称性：统一矩阵优化器的候选语言#

ARO 将收益归因于神经网络重参数化中的旋转对称性：若函数在某类隐藏坐标旋转下近似不变，优化器应主动寻找更有利坐标，而不是永久依赖初始化坐标。这个解释比算法公式更强，因为它声称 alignment proxy 捕获了真实网络对称性。现有实验显示代理量、旋转选择与训练结果共同改善，却尚未通过跨团队干预证明代理量就是收益原因。“旋转对称性解释矩阵优化器”目前是有统一力的研究纲领，而不是定论。

7.6 解释之间的关系与可证伪假说#

待检验假说：重建误差

可以把线性层看作编码，考察 $\lVert W^\top Wx-x\rVert^2$，并猜测较半正交的 $W$ 更少丢失输入信息。问题在于 Muon 约束的是 $\Delta W$，不是 $W$。目前没有推导表明每步 polar 更新会持续降低该重建误差。一个可证伪实验应在 matched loss、matched update RMS 下跟踪各层重建误差，并通过谱匹配、随机旋转等干预区分“权重谱”与“奇异向量方向”的作用。在此之前，它是有启发性的实验提案，不是 Muon 的既有解释。

9.1 样本/算力效率#

Muon、SOAP、AdEMAMix 等均显示，更新规则能在固定模型和数据管线下改变达到目标 loss 的 token 数。Essential AI 的 Practical Efficiency of Muon for Pretraining(2025) 进一步改变问题口径：在 100M—4B、global batch 至 16M token 的实验中，比较达到同 loss 的 token 与设备时间 Pareto 曲线；作者报告 Muon 需少 10%—15% token，且相对优势在超过 critical batch size 后不消失，并展示 Muon 与 $\mu$P 的宽度超参迁移至 3.7B/160B token。它为“大 batch 下更值钱”提供了受控证据，但仍是作者团队实验，不能替代 frontier-scale 配对 A/B。综合独立基准，最可信的判断不是统一的“2x”，而是：经过调参的公开中小规模中，优秀方法常有约 1.1—1.4x 的 token 效率收益；更大数字应视作依配方的待复核上界。

9.2 可训练规模与硬件效率#

GaLore、Adam-mini、APOLLO、COAT 和低比特 states 的价值更直接：少一个参数等大的状态，可能决定模型能否放进既定 GPU 数量；腾出的显存还可提高 microbatch，减少梯度累积和通信。Muon 只有一阶动量，但 polar 需要完整矩阵；它的系统价值取决于是否能把正交化分配到不同 rank、重叠 gather 与计算。

9.3 稳定性与配方可移植性#

Kimi K2 的 MuonClip 监测每个 attention head 的最大 logit。若

就按 $\sqrt{\tau/S_{\max}^{(h)}}$ 缩放对应 Q/K 权重。苏剑林的 kexue.fm QK-Clip 解析(2025) 强调，它不直接篡改 forward attention，而是在异常发生时约束产生 logit 的权重。K2 报告 15.5T-token 训练无 loss spike，clipping 后期逐渐不再触发。这里体现的不是“Muon 天生稳定”，而是新几何暴露了新的失败模式，配套诊断又把它变成可控系统。

9.4 Checkpoint 也带有优化器结构#

optimizer mismatch 结果表明，优化器不只影响“多快到达相同权重”，也改变最终权重的谱结构和隐式偏置。LoRA-Muon 又表明，低秩参数化本身会改变优化器看到的坐标系；若要继承 dense Muon 的谱几何，需要在合成矩阵的切空间中定义更新，而不是只替换两个因子的 optimizer 名称。预训练 checkpoint、后续 full fine-tuning、LoRA 和 post-training 之间的优化器选择因此不是可以随意替换的局部配置。这是优化器研究对模型生命周期管理已经显现、但尚未被工业流程充分吸收的价值。

10.1 前沿模型的生产披露#

Moonlight/K2 是最强的端到端工业证据链：先在缩放律和受控训练中建立配方，再在万亿参数 MoE 上引入 QK-Clip。GLM-5 则把矩阵分组和分布式实现进一步产品化：报告只 all-gather 当前 rank 负责的参数 shard，让正交化计算与通信重叠，降低峰值显存和冗余通信。DeepSeek AI 的 DeepSeek-V4(2026) 又在 V4-Flash（284B/13B active，32T token）与 V4-Pro（1.6T/49B active，33T token）采用混合优化器：大部分矩阵用 Muon，embedding/head/RMSNorm 等继续 AdamW；前 8 步快速 NS 后接 2 步精确稳定多项式，并用 Q/K RMSNorm 代替 QK-Clip。这是很强的 adoption evidence，但模型同时改变 attention、残差连接、数据和系统，报告没有同规模 AdamW A/B。

生态侧，PyTorch 的 torch.optim.Muon 已进入官方 API；NVIDIA 在 Megatron Core 与 NeMo-RL 提供实现或实验支持；PyTorch/DeepSpeed 的官方说明 展示了 ZeRO 兼容接入。框架支持是 adoption evidence，不是 quality evidence：它证明工程门槛下降，不证明使用者无需重新调学习率、矩阵分组、weight decay 或稳定性保护。

10.2 资源路线的长程训练与系统落地#

非 Muon 路线的工业价值主要体现在“让训练在既定硬件预算内可行”，其公开证据多为论文级长程预训练、系统 benchmark 与框架集成，而非 frontier 模型技术报告中的生产披露：

Hugging Face Transformers 的 官方优化器集成页 已提供 GaLore、APOLLO 与 Schedule-Free 等接口。这说明外部团队可以用标准 Trainer 复现实验，也让优化器从论文代码走向生态组件；它仍低于“某个已发布前沿模型公开披露全程采用”的证据等级。资源路线目前已经成立的工业结论是：状态维度、尺度粒度和数值位宽都能实质改变可用 microbatch、状态 shard/offload 压力与单机可训练规模；尚未成立的结论是这些压缩在任意 context、架构和长程训练中都保持 AdamW 质量。