**PFLM:仅基于合成先验预训练的3亿参数字节级Transformer** _Learning to Learn a Language_ > Huggin
原帖
**PFLM:仅基于合成先验预训练的3亿参数字节级Transformer**
_Learning to Learn a Language_
> HuggingFace社区热门论文提出Prior-Fitted Language Model (PFLM),该模型仅使用合成非语言先验数据进行预训练。通过冻结权重,PFLM能在未见任何真实语言的情况下,从真实文本前缀中推断并预测语言。实验显示,该模型在维基百科六种语言上实现了极低比特率压缩,并展现出计数、近似加法及跨领域(代码、语音)压缩能力,证明了其“学习如何学习语言”的元学习能力。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-06 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.05879)