**HuggingFace 论文：校准重要性采样解决 LLM 强化学习训练推理不匹配**

_Rethinking Training-Inference Mismatch in LLM Reinforcement Learning: Where It Arises and How to Correct It_

> 该论文针对大语言模型强化学习中因推理与训练引擎概率差异导致的不匹配问题，提出校准重要性采样（CIS）方法。CIS 基于对数几率位移特征，引入置信度感知截断机制，在理论上将误差二阶矩限制为常数。实验显示，CIS 在三个混合专家模型及五个数学推理基准上均取得最佳平均性能，且相比传统截断方法，对低置信度 token 的偏差更小。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-29 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.32444)