**推理迹压缩：高效蒸馏的精度与效率权衡**

_Compress-Distill: Reasoning Trace Compression for Efficient Knowledge Distillation_

> 推理模型产生冗长的思维链迹，直接蒸馏成本高且会助长冗长输出。本文研究对迹进行后压缩再蒸馏：用Qwen3.5-397B-A17B和gpt-oss-120B生成约28.3万条正确迹，经指令模型压缩至原长度的8.6%-21.0%。压缩迹使训练token减少到原始的12%-30%，训练提速2.0-7.6倍，推理输出缩短3-19倍，但原迹在下游任务中始终保持最高准确率。与等长朴素截断相比，模型压缩的迹通常更优，尤其对小模型更明显，且推理输出更短。总体而言，压缩迹在精度与效率间权衡：学生模型保留原迹最高96%的准确率，同时每token效率提升可达18倍，但在0.8B规模下用LoRA压缩迹未能超越原迹。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-08 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.05988)