**状态预测分离假设：双流Transformer提升语言建模效率**

_The State-Prediction Separation Hypothesis_

> HuggingFace每日论文推荐指出，传统Transformer共用同一计算流进行状态存储和下一个词元预测。新提出的“状态预测分离假设”主张将两者解耦，通过设计双流Transformer变体进行预训练实验。结果显示，该架构在数据和使用算力的效率上均优于标准Transformer，验证损失更低，并在下游任务中平均提升2-3个百分点的性能。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-07-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2607.01218)