**PAR：通过进度对齐循环实现状态追踪的长度泛化**

_PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking_

> 针对循环语言模型在测试时增加迭代次数却无法解决更长问题的痛点，研究提出了进度对齐循环（PAR）方法。该方法通过训练第 k 次预测以匹配前 k 步操作后的状态，并重新缩放循环状态至初始范数，从而解决了最终答案监督无法指定每步进度的问题。实验表明，在 Swap-S\_5 任务上，使用 Qwen2.5-0.5B 模型训练仅 32 步后，PAR 能在 512 步（训练长度的 16 倍）上达到 95.5% 的准确率，远超现有方法。此外，该方法还展示了通过前缀自蒸馏在缺乏中间标签时建立对应关系的能力，证明了同时训练中间预测和状态规模对于深度外推的有效性。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-21 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.27628)