**学习率调度可能缺乏原则性：权重归一化训练中的有效学习率调度**

_Your LR Schedule May Not Be Principled: Effective Learning Rate Scheduling in Weight-Normalized Training_

> 研究表明，权重归一化（WN）训练的性能提升主要源于其诱导的有效学习率（ELR）轨迹，而非归一化本身。基于此，论文提出了 AIR（Affine Inverse-square-Root decay）调度策略，通过结合理论推导的衰减与仿射调整，实现了更优的训练效果。实验显示，AIR 在预训练损失、下游性能及超参数鲁棒性上均优于传统余弦调度，并证实 ELR 是比名义学习率更本质的调度对象。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-30 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.40362)