DynMuon：通过动态光谱整形提升Muon优化器训练效率
本文介绍DynMuon，一种通过动态调整Muon优化器的光谱整形参数p来提升训练效率的改进方法。实验表明，它可减少10.6%至26.5%的训练步数，并在多种模型规模和架构下实现更低的验证损失。
训练效率
First-Principle 上关于「训练效率」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
RELEX：通过秩-1轨迹外推大语言模型，仅需极少强化学习验证训练
论文发现强化学习验证训练（RLVR）中，大语言模型参数轨迹呈低秩可预测特性。基于此，作者提出RELEX方法，仅需全量训练15%的步数即可外推生成性能匹配甚至超越的检查点，成功源于投影到秩-1子空间的‘去噪’效应。