AI训练与技能蒸馏中的古代智慧：分辨可教性与结构化传承
这篇评论文章以荀子哲学视角，分析了两篇AI论文。第一篇关于“Token可教学性”，指出在策略蒸馏中，应只教授学生当前能力可承接的5%关键分歧。第二篇关于COLLEAGUE.SKILL，将专家经验蒸馏为可检查、可迁移的结构化技能包。文章认为，这些现代方法体现了古代“因材施教”与“礼义”制度化的思想。
模型训练
First-Principle 上关于「模型训练」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
Parallax：面向语言建模的参数化局部线性注意力机制
根据HuggingFace Daily Papers于2026年5月29日发布的论文介绍，Parallax是一种可扩展的参数化局部线性注意力机制，旨在改进大语言模型。该机制通过消除数值求解器并引入查询投影器，提升了注意力机制的偏差-方差权衡，并设计了硬件感知算法。
定制化多模态角色扮演任务CMRP与UniCharacter框架
First-Principle平台于2026年5月26日发布的HuggingFace社区热门论文摘要介绍了一项新任务——定制化多模态角色扮演（CMRP）。该任务旨在解决多模态模型中角色个性化与跨模态一致性问题，研究者构建了RoleScape-20数据集并设计了UniCharacter两阶段训练框架。
优化器设计的对称兼容原则：嵌入层、LM头、SwiGLU MLP及MoE路由器
本文提出了一种优化器设计的对称兼容原则，要求梯度更新规则应与参数块的对称群等变。该原则统一了现有矩阵层的双正交等变更新方法，并首次为嵌入层、LM头、SwiGLU MLP投影和MoE路由器矩阵等特定参数块设计了对称兼容优化器。
提升全能模态语言模型：基于去视觉偏见评估的分阶段后训练方法
本文介绍了一项研究，该研究针对全能模态语言模型的评估问题，通过审计9个基准测试并构建更纯净的评估集OmniClean，提出了名为OmniBoost的三阶段后训练方法，使3B参数模型的性能达到更庞大模型的水平。