延迟张量并行（DTP）：提升Transformer单批次推理速度的新架构
Kog团队提出的延迟张量并行（DTP）架构通过隐藏通信开销来优化Transformer推理。该技术旨在解决传统张量并行在延迟敏感场景（如语音助手）中的性能瓶颈，并在AMD和NVIDIA GPU上实现更快的单批次推理速度。
Transformer推理优化
First-Principle 上关于「Transformer推理优化」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
SNLP：通过结构化牛顿校正实现Transformer层并行推理
本文介绍了结构化牛顿层并行（SNLP）框架，通过将隐藏状态演化视为非线性残差方程并用架构诱导代理动力学替代精确雅可比-向量积，实现自回归语言模型中Transformer层的并行计算，以解决顺序执行带来的延迟瓶颈。