**Soft-MTP：通过梯度恢复技巧消除多 Token 预测噪声，实现零成本性能飞跃**

_Multi-Token Prediction Done Right_

> 针对现有多 Token 预测（MTP）训练中残差梯度干扰学习的问题，研究提出了 Soft-MTP 方法。该方法利用直通梯度路由技术，从交叉熵梯度中精确恢复 KL 散度梯度，从而剔除低信噪比的残差信号。Soft-MTP 无需额外参数或计算开销，即可在 167M 至 1.2B 参数规模下显著降低困惑度、加速推测解码并提升推理准确率，成为 MTP 优化的“免费午餐”。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-10-30 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.38331)