SELFCI框架：用自蒸馏让大语言模型在任务中兼顾隐私保护
First-Principle平台于2026年5月21日发布了一篇关于SELFCI框架的摘要。该框架提出，通过互补的自蒸馏方法，将信息抑制与任务解决解耦，旨在帮助大型语言模型（LLM）在作为个人代理处理敏感工作流时，更好地平衡隐私保护与任务性能。
自蒸馏
First-Principle 上关于「自蒸馏」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
ZEDA框架：通过自蒸馏让后训练MoE模型跳过一半专家以加速推理
2026年5月19日，HuggingFace Daily Papers社区热门论文介绍了一种名为ZEDA的低成本框架，可将已训练的静态混合专家模型转换为动态模型。该框架通过注入零输出专家和两阶段自蒸馏，使简单输入绕过不必要专家，在Qwen3-30B-A3B和GLM-4.7-Flash模型上实现超50%专家计算量减少与约1.20倍推理加速，精度损失极小。
自适应教师暴露（ATESD）：提升LLM推理自蒸馏效果的新方法
本文介绍了自适应教师暴露（ATESD）方法，通过Beta策略控制器动态调整教师模型在自蒸馏训练中的暴露比例，解决了现有方法中监督信号过强的问题。该方法在AIME 24、AIME 25和HMMT 25数据集上，基于Qwen3系列模型的实验显示，持续优于竞争性基线。
自蒸馏智能体强化学习（SDAR）方法：改进大语言模型智能体训练
本文提出一种名为SDAR的新方法，用于改进大语言模型智能体的强化学习训练。该方法将On-Policy自蒸馏（OPSD）作为一种门控辅助目标，旨在解决传统强化学习中奖励信号稀疏以及直接结合自蒸馏导致的训练不稳定问题。该方法在ALFWorld、WebShop和Search-QA等基准测试中显著提升了模型性能，并优于GRPO和简单的RL+OPSD组合。