CODA：将Transformer模块重写为GEMM-Epilogue程序
该论文提出CODA方法，将Transformer模型基本模块（如注意力层和前馈网络）重写为GEMM（通用矩阵乘法）与后续操作（Epilogue）结合的高效程序，旨在优化硬件执行效率，提升推理速度和能效。
Transformer架构
First-Principle 上关于「Transformer架构」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
Delta Attention Residuals：一种改进的跨层注意力残差连接方法
本文针对注意力残差连接中因累积隐藏状态冗余导致路由坍塌的问题，提出了一种名为Delta Attention Residuals的新方法。该方法关注各子层引入的变化量（增量表示），能产生更高对比度的注意力分布（最大权重约0.6，原方法约0.2），实现更精确的跨层信息选择性路由。实验表明，在220M至7.6B参数的不同规模模型上，该方法始终优于标准残差连接和原有注意力残差连接，验证困惑度提升1.7%至8.2%。