**多智能体强化学习何时能优化大语言模型工作流？工作流、规模与策略共享的权衡**

_When Does Multi-Agent RL Improve LLM Workflows? Workflow, Scale, and Policy-Sharing Tradeoffs_

> 本文探讨了使用强化学习（RL）端到端训练多智能体大语言模型（LLM）工作流的优缺点。研究比较了共享策略（所有角色更新一个策略）和独立策略（每个角色拥有独立参数）两种训练方式，评估了不同工作流（Eval-Opt、投票、Orch-Workers）、任务类型（数学、代码）和模型规模（0.6B、1.7B、4B）下的表现。核心发现是：多智能体RL通常优于基础模型，但其收益取决于工作流、任务和规模的组合，而非单纯取决于策略共享；独立策略往往能达到更高的峰值精度，但更易出现精度骤降；共享策略虽不消除失败，但会以不同的模式重新分配失败。研究通过角色级梯度动力学解释了这些模式，表明策略共享通过不同渠道路由训练压力，而非提供统一稳定性，因此它是一个需要根据工作流和任务条件权衡的设计选择。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.24202)