**NITP：用于LLM预训练的下一项隐式Token预测**

_NITP: Next Implicit Token Prediction for LLM Pre-training_

> 该研究提出了一种名为‘下一项隐式Token预测’（NITP）的新预训练方法，以改进标准的大语言模型（LLM）预训练技术。标准的‘下一项Token预测’（NTP）仅通过输出logit空间中的离散标签进行监督，这种稀疏的one-hot监督可能导致潜在表征空间约束不足，从而限制模型的泛化能力。NITP方法通过引入对表征空间的密集连续监督来解决这一问题，它训练模型预测下一个token的隐式语义内容，利用同一模型的浅层表征作为稳定的自监督目标。理论分析表明，NITP能通过减少约束不足的自由度来正则化优化过程，并鼓励形成紧凑、结构化的表征几何。实验表明，在从0.5B到9B参数的稠密和MoE模型上，NITP能以可忽略的计算开销持续提升下游任务性能。在一个9B MoE模型上，NITP在MMLU-Pro上取得了5.7%的绝对提升，在C3和CommonsenseQA上分别提升了6.4%和4.3%，且仅增加了约2%的训练FLOPs，无额外推理成本。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-06-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.24956)