**HuggingFace 论文：通过可训练向量揭示 LLM 中 RLVR 训练的几何特性**

_Learning to Steer, Steering to See: Unveiling the Geometry of RLVR in Large Language Models via Trainable Vectors_

> 该研究利用向量转向技术分析了大语言模型中基于可验证奖励的强化学习（RLVR）训练动态。研究发现 RL 增益关联于激活空间中的低维有效流形，且有效控制方向主要位于激活主子空间的低方差补空间中。基于此，论文提出了 Alpha-Stabler 框架，通过监控主子空间入侵并移除梯度中的主子空间分量来稳定训练，在 5 个 LLM 和 6 个任务上验证了其提升 RL 增益及防止训练崩溃的有效性。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-09 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.34344)