**预训练数据的词汇印记：揭示零样本能力的来源与优化新路径**

_The Lexical Imprint of Pre-training Data_

> 研究通过词级单语交叉熵（UCE）这一无模型指标，证实预训练语料与基准测试之间的词汇对齐程度直接决定了大模型的零样本准确率：语料与基准越相似（UCE 越低），模型表现越好。该发现不仅解释了模型能力的来源，还提出了两项优化策略：在文档层面，通过筛选高对齐语料可提升准确率；在提示词层面，根据提示词领域动态路由至最匹配的专用模型，能显著降低推理延迟。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-28 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2602.10657)