**分层优势加权方法HABC：从稀疏结局中在线微调VLA策略**

_Hierarchical Advantage Weighting for Online RL Fine-Tuning of VLAs from Sparse Episode Outcomes_

> 针对在线强化学习微调VLA策略时，每个回合仅返回二元成功/失败标签，传统方法将稀疏结局简化为单一标量优势，混淆可行性与效率目标并导致错误信用分配。本文提出分层优势加权行为克隆（HABC），通过为可行性和效率目标训练独立的评论家头部，使用状态自适应门控合并单步优势，并按过渡生成权重；同时，采用干预感知的信用分配限制标签泄漏。在三种双手接触丰富任务中，HABC将微调前36%、44%和12%的成功率分别提升至92%、88%和38%。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-16 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.17043)