**从LR到ELR：更优的大模型预训练动态启发式方法**

_From LR to ELR: A Better Heuristic for Pretraining Dynamics_

> 腾讯混元研究提出有效学习率(ELR)作为大模型预训练的超参数，相比传统学习率(LR)，ELR能更准确反映模型权重的方向性变化，在多幂律模型下实现更精准的损失预测，并具备更强的跨模型规模迁移能力。基于ELR视角设计的训练调度策略，性能优于传统LR调度基线。

**来源信息**
- **来源**：腾讯混元：Research（API）
- **分类**：论文
- **发布时间**：2026-08-06 12:10（北京时间）
- **原文**：[打开原文](https://hunyuan.tencent.com/research/100091?langVersion=zh)