**HuggingFace 论文:通过固定点优化循环语言模型训练与推理** _Towards Looped Models Done Right, Part I
原帖
**HuggingFace 论文:通过固定点优化循环语言模型训练与推理**
_Towards Looped Models Done Right, Part II: Rethinking at Fixed Points_
> 该论文提出改进循环语言模型(Looped Models)的训练与推理效率。通过优化深度先验和正交输入注入,使递归状态更接近固定点,从而实现截断反向传播、终端 KV 共享及更快的预填充和强化学习更新。实验表明,该方法在 100M 至 1.6B 参数规模下均优于现有方案,且能以更小的 KV 缓存达到与固定深度训练相当的性能。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-06 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.06833)