**循环 Transformer 训练研究：全反向传播优于截断策略**

_Truncate or Not? A Scaling Study of Looped Transformers with Truncated Backpropagation_

> 该研究通过近 600 次实验系统分析了循环 Transformer 训练中截断反向传播（BPTT）的价值。结果表明，在联合优化前向与后向循环次数时，全量 BPTT 比截断策略能带来更好的性能；在计算资源匹配的情况下，全量 BPTT 始终优于截断设置。此外，研究发现当模型规模固定时，最优循环次数和训练 Token 预算均随计算量增长；若模型规模也可调整，两个完整循环的训练效果最佳，其验证损失低于最优非循环模型，且参数效率更高。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-28 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.26030)