**Factored One-sided Adam-Moment (FOAM)：以 Adam 效率实现 SOAP 的加速优势**

_Factored One-sided Adam-Moment for Practical and Scalable SOAP_

> 针对二阶优化器 SOAP 内存开销大且计算成本高的问题，论文提出了轻量级变体 FOAM。该方法通过仅使用输入端预条件并采用基于行统计的 Adam 动量估计器，在保留 SOAP 加速优势的同时，将优化器状态内存减半，计算速度与 Muon 相当，并在大规模语言模型预训练中展现出鲁棒性。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-11-13 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.16905)