**DVAO：面向多奖励强化学习的动态方差自适应优势优化**

_DVAO: Dynamic Variance-adaptive Advantage Optimization for Multi-reward Reinforcement Learning_

> 这篇论文提出了一种名为动态方差自适应优势优化（DVAO）的新方法，用于改进强化学习在对齐大语言模型与人类意图时的多目标奖励处理。传统方法如奖励组合和优势组合存在训练不稳定或忽略目标相关性等问题。DVAO通过动态调整组合权重，基于每个目标的经验奖励方差，增强学习信号强的目标，抑制噪声干扰，并引入自适应跨目标正则化机制。实验在数学推理和工具使用基准上使用Qwen3和Qwen2.5模型进行，结果表明DVAO显著优于基线方法，实现了更优的多目标帕累托前沿和稳定的训练。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-26 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.25604)