**ActFirst-OPD：通过参考条件逆动力学加速多轮智能体在线策略蒸馏**

_Act First, Reason Later: Accelerating On-Policy Distillation for Multi-Turn Agents via Reference-Conditioned Inverse Dynamics_

> 针对多轮智能体训练中“先思考后行动”导致的延迟问题，提出 ActFirst-OPD 框架。该方法解耦环境交互与完整响应生成，利用参考条件逆动力学直接推断并执行动作，仅在轨迹偏离时切换至自主预测，并异步生成完整响应以获取教师监督。实验显示，该方法在 ALFWorld、WebShop 和 ScienceWorld 上分别实现 2.3 倍、1.8 倍和 4.9 倍的训练加速，且任务成功率持平或优于基线，证明推理过程无需阻塞行动。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-30 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.36608)