**HuggingFace 论文:合成预预训练在大规模下有效,但非源于语法先验** _Synthetic Pre-pretraining Survives S
原帖
**HuggingFace 论文:合成预预训练在大规模下有效,但非源于语法先验**
_Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior_
> 该研究在 500M 至 7B 参数规模及高达 100B 令牌预算下,全面评估了合成非自然语言数据的预预训练(PPT)效果。结果显示,PPT 能显著提升令牌效率(如 3B 规模节省 21B 令牌),且效果不依赖于 PT 数据混合方式。然而,研究反驳了 PPT 增益源于“语法先验”的传统观点,指出其实际机制在于提升长程检索能力,建议未来 PPT 任务设计应聚焦于此。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-01 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.39827)