**反馈对齐在自蒸馏中的作用：步进式批评效果最佳**

_The Role of Feedback Alignment in Self-Distillation_

> 该研究探讨在自蒸馏中如何设计条件上下文以提升模型表现。通过使用冻结的批评者提供的反馈来训练求解器，比较了二值奖励（GRPO）、参考解和与求解器推理步骤对齐的逐步批评三种条件。结果显示，步骤对齐的批评效果最好，平均得分比GRPO高出16.11分，比基于参考解的自蒸馏高出5.27分。分析表明，其优势在于仅修正推理失败的词元，而保留正确行为；而参考解会迫使模型在每个词元上都改变，即使正确步骤也会因表述差异而被改动。结论是，反馈与模型推理的结构对齐是自蒸馏有效性的关键驱动因素。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-10 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.11173)