CODA：让LLM和编程新手为Transformer编写高效CUDA内核
本文介绍CODA工具，该工具通过数学重写将Transformer操作简化为矩阵乘法和尾声序列，使得LLM或编程新手也能生成高效CUDA内核代码，从而显著提升Transformer运行速度。
Transformer优化器研究
First-Principle 上关于「Transformer优化器研究」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
全注意力转稀疏：仅需百步训练，长上下文推理加速显著
2026年5月22日，HuggingFace Daily Papers收录的论文提出RTPurbo方法，仅需几百个训练步骤即可将全注意力大语言模型转换为稀疏注意力模型，实现长上下文推理的显著加速。
优化器诱导的谱缩放定律：不同优化器如何塑造Transformer模型容量
2026年5月22日，HuggingFace Daily Papers社区热门论文揭示，优化器在Transformer模型性能中扮演关键角色。研究通过分析前馈网络特征谱发现，即使保持架构不变，不同优化器（如AdamW与Muon）会诱导截然不同的谱缩放定律，Muon在难学的稀有Token表示上实现了线性缩放（指数β=1.02），比AdamW的弱缩放（β=0.44）高出2.3倍。