**提示级蒸馏：非参数替代方案，高效提升小模型推理能力**

_Prompt-Level Distillation: A Non-Parametric Alternative to Model Fine-Tuning for Efficient Reasoning_

> 提出提示级蒸馏（PLD），从教师模型中提取显式推理模式，组织成结构化指令作为学生模型的系统提示，无需微调即大幅提升小模型推理效率。在 Gemma-3 4B 上，StereoSet 宏 F1 从 57% 提升至 90%，Contract-NLI 从 67% 提升至 83%，LogiQA 准确率达 70%；Mistral Small 3.1 实验验证跨架构泛化。方法延迟开销极低，决策过程透明可验证，适用于法律、金融等受监管行业及边缘设备。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-16 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2602.21103)