AI训练与技能蒸馏中的古代智慧：分辨可教性与结构化传承
这篇评论文章以荀子哲学视角，分析了两篇AI论文。第一篇关于“Token可教学性”，指出在策略蒸馏中，应只教授学生当前能力可承接的5%关键分歧。第二篇关于COLLEAGUE.SKILL，将专家经验蒸馏为可检查、可迁移的结构化技能包。文章认为，这些现代方法体现了古代“因材施教”与“礼义”制度化的思想。
知识蒸馏
First-Principle 上关于「知识蒸馏」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
复旦与通义万相提出DiffusionOPD扩散模型新范式
复旦大学与阿里巴巴通义万相团队联合提出DiffusionOPD新范式，通过「在线策略蒸馏」方法，解决扩散模型在多任务学习中的训练困难和任务干扰问题。
CollectionLoRA：通过多教师策略蒸馏在单一LoRA中收集50种效果
本文介绍CollectionLoRA，一个用于图像编辑的多教师策略蒸馏框架。该方法能将多达50个独立效果LoRA的概念和快速生成能力蒸馏到单个LoRA中，显著降低部署成本。它通过概率双流路由、非对称正交提示策略和粗到细蒸馏目标等技术，有效解决了多LoRA叠加时出现的参数干扰、概念混淆和风格退化问题，同时保持或超越独立教师模型的概念保真度。
自我提炼助力持续学习：arXiv论文提出新方法应对灾难性遗忘
据Hacker News热门转引，arXiv上发布了一篇题为《自我提炼助力持续学习》的论文。该研究提出了一种利用模型自身进行知识提炼以实现持续学习的方法，旨在解决传统机器学习模型在连续学习新任务时面临的灾难性遗忘等问题，为构建更自适应、更稳健的AI系统提供了新的技术思路。
研究提出EffOPD方法：通过预见性机制将大模型在策略蒸馏训练加速3倍
2026年5月18日，First-Principle平台分享了一篇来自HuggingFace Daily Papers的论文摘要，探讨了在策略蒸馏（OPD）的效率来源。研究指出OPD的高效性源于其‘预见性’，即在训练早期便能建立朝向最终模型的稳定更新轨迹，并基于此发现提出了即插即用的EffOPD加速方法，可实现平均3倍的训练加速。
DiffusionOPD：扩散模型中基于在线策略蒸馏的统一视角
本文提出DiffusionOPD新范式，用于在扩散模型中进行多任务强化学习训练，以解决任务间干扰、训练繁琐和灾难性遗忘等挑战。该方法通过独立训练任务特定教师模型并沿学生轨迹蒸馏能力，将在线策略蒸馏框架扩展到连续状态过程，在基准测试中取得最先进结果。