**FLAMIA：专为 Blackwell 架构设计的快速且因果安全的注意力机制**

_FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell_

> 针对 NVIDIA Blackwell GPU 在长上下文训练中的注意力计算瓶颈，论文提出了 FLAMIA 注意力内核家族。该方案通过结合 token-block 缩放、针对量化开销的优化以及防止因果信息泄露的保障措施，实现了 MXFP8 和混合精度训练路径。实验表明，FLAMIA 在 B200 和 B300 芯片上相比基线实现了 1.06 至 1.42 倍的加速，并验证了在预训练 Llama 风格模型上的稳定性与质量保持能力。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-11-03 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.03344)