**引入可训练前缀 Token 减少检索嵌入中的表征干扰**

_Reducing Representational Interference in Retrieval Embeddings with Trainable Prefix Tokens_

> 针对嵌入模型压缩变长文本时产生的注意力汇（attention sink）等残留噪声，研究提出了一种简单方法：在输入前添加可训练的\[DUMP\]前缀 Token。该方法在不改变模型架构和训练损失的前提下，通过对比检索目标优化这些前缀 Token，使其能有效抑制低信息量 Token 对最终检索表示的干扰。实验表明，该方法在标准检索和长上下文基准测试中均优于微调基线，是一种轻量级提升检索表示效果的手段。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-11-06 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.07298)