**优化训练策略的迷思:单调推理策略才是大模型强化学习的真正目标**

_The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning_

> 针对大语言模型强化学习中因训练与推理引擎不匹配导致的策略偏移问题,研究指出仅优化训练策略无法保证部署时推理策略的提升。为此,本文提出单调推理策略改进(MIPI)目标及MIPU框架,通过构建采样器参考候选更新并基于推理侧差距代理进行选择性接受,显著提高了模型在高分歧场景下的推理性能与训练稳定性。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-07-06 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2606.29526)