**ECHO:超越辅助多 token 预测的高效因果自递归**

_ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction_

> 该研究提出了 ECHO 模型,通过让骨干网络自身最后一层预测所有时间步来消除辅助模块,并利用动态深度采样降低训练成本。相比传统方法,ECHO 将未来预测融入自回归目标,在预训练和推理阶段均能显著提升代码与推理任务的表现,且训练开销仅为传统多 token 预测的一半。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:ai-models
- **发布时间**:2026-10-20 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.24766)