**Muon-RT：复用教师轨迹实现无动量 LLM 自蒸馏**

_MUON-RT Reusing the Teacher's Trajectory for Momentum-Free Muon for LLM Self-Distillation_

> 该研究提出了 Muon-RT，一种通过复用教师 - 学生位移来消除隐藏权重动量缓冲区的自蒸馏方法。该方法在保留指数移动平均（EMA）历史的同时，去除了径向分量并进行谱归一化，结合牛顿 - 舒尔茨正交化与当前梯度。实验表明，Muon-RT 在 Qwen2.5-7B-Instruct 上相比 AdamW 准确率提升 2.6 个点，且持久化内存减少 42%；在 Olmo-3-7B-Instruct 上相比 AdamW 提升 2.0 个点。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-11-05 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.41104)