**TRACE:面向MoE模型FP4强化学习的量化感知训练框架**

_TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models_

> TRACE提出了一种针对混合专家(MoE)语言模型FP4强化学习的量化框架。通过引入rollout引导的量化感知训练,直接减少训练与推理路径间的量化差异,并采用高效缓存机制降低开销。实验表明,该方法在保持与BF16相当性能的同时,实现了高达5.4倍的rollout加速。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-07 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.07767)