**AutoMegaKernel：将LLM编译为可证明正确的单一CUDA巨核，批量1解码自优化超越cuBLAS**

_AutoMegaKernel: Compile an LLM into one provably-correct CUDA megakernel_

> AutoMegaKernel（AMK）是一个通用GPU巨核合成代理框架，由编程代理驱动，将模型编译为一个可证明正确且自适配的CUDA巨核，融合整个前向传播为单次持久启动，并自我调优。在推理级GPU上，其自动调优的int8（W8A16）巨核在批量1解码中全面超越CUDA-graphed cuBLAS bf16，L4/L40S/A10G/RTX 5090均获胜；训练级GPU（A100/H100）则仍落后。胜因在于int8减少权重字节读取，bf16路径仍落后cuBLAS。项目以MIT协议开源，结果可复现。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-06-09 00:20（北京时间）
- **原文**：[打开原文](https://github.com/RightNow-AI/AutoMegaKernel)