**UltraBERT：突破BERT预训练极限的双任务SOTA编码器**

_UltraBERT: Beyond the Limit of BERT Pre-Training_

> HuggingFace社区热门论文提出UltraBERT，通过重新审视双向编码器训练设计，发现编码器在数万亿token后性能饱和，且不同掩码比例对分类和检索任务影响相反。该模型采用分离LM头策略并限制蒸馏目标，成为首个在GLUE（91.0）和BEIR（47.7）上同时达到SOTA的编码器，为双向模型的计算分配和掩码设计提供了原则性基础。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-14 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.15028)