**从曲率视角解密：Muon优化器为何超越Adam**

_Why Muon Outperforms Adam: A Curvature Perspective_

> 本文从损失景观的曲率角度解释了Muon在大模型训练中效率约为Adam两倍的原因。通过二阶泰勒近似，发现两者一阶增益相当，但Muon的二阶曲率惩罚更小。进一步分解曲率惩罚为更新范数和归一化方向锐度（NDS），显示Muon的更低NDS是其优势来源，而非更新尺度差异。研究表明，数据不平衡会放大Muon的NDS优势；在训练中后期，该优势主要源于层内曲率更低。理论分析证明，Muon通过平衡不同曲率组间的更新能量，降低了平均NDS，当曲率异质性足够强时，在相同步数后达到更低的局部二次损失。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-09 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.04662)