**onPanda：基于词元级修正的LLM与智能体同策略对齐数据高效标注工具**

_onPanda: Efficient Annotation of On-Policy Alignment Data for LLMs and Agents via Token-Level Correction_

> 研究团队提出 onPanda，一款用于高效标注大模型对齐数据与智能体轨迹的交互式工具。其核心交互为“词元级修正”：标注者阅读模型回复时定位第一个不当词元，从候选词中选取替代或直接输入正确文本；系统随即截断该位置之后的内容，并从修正后的前缀继续生成，循环“定位—修正—续写”直至得到满意回复。受控小规模研究显示，该方式相较人工后期编辑将标注耗时中位数降低 52%。由于最终回复中绝大多数词元仍由模型自身生成，所得数据较好地保留了模型的采样分布，适合构建同策略 SFT 与偏好数据；标注过程中记录的词元级修正还提供位置精确的细粒度监督及天然配对的正负样本。onPanda 可连接外部工具与运行环境，支持真实场景下的交互式轨迹标注。作者同时发布了用 onPanda 标注的数据集 Panda-CVL 及词元级修正基准。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-22 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.24983)