语言模型加速

SNLP：通过结构化牛顿校正实现Transformer层并行推理

本文介绍了结构化牛顿层并行（SNLP）框架，通过将隐藏状态演化视为非线性残差方程并用架构诱导代理动力学替代精确雅可比-向量积，实现自回归语言模型中Transformer层的并行计算，以解决顺序执行带来的延迟瓶颈。