**蒸馏博弈：自适应攻击与高效防御**

_The Distillation Game: Adaptive Attacks & Efficient Defenses_

> 模型提供商面临蒸馏攻击的部署权衡：提升模型有用性的输出也使其更易被模仿。本文通过效用受限的教师模型与自适应学生模型间的极小极大博弈，研究这一权衡。框架给出了可处理的单方响应规则：学生自适应重加权高价值样本，教师抑制对蒸馏最有用的输出。基于样本价值的廉价代理，提出专家乘积（PoE）防御，生成时结合教师与代理学生，仅需前向传播。实验表明，自适应评估揭示了巨大的被动-自适应差距：在GSM8K和MATH上，自适应学生恢复的能力显著高于被动评估。在此更强评估下，昂贵防御与PoE间的鲁棒性差距大幅缩小，而PoE成本极低且保留更高质量推理过程。结果表明，强力蒸馏仍难阻止，抗蒸馏进展应以自适应学生为评判标准。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-08 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.22737)