密集检索器中的位置偏见:源于数据还是模型固有?
一篇论文研究了密集检索器中的位置偏见问题,发现该偏见主要源于训练数据中证据的位置分布,而非模型固有特性。通过使用位置平衡的训练数据,可以显著降低模型对文档位置的敏感性,同时保持检索性能。
First-Principle 上关于「数据偏见」的公开讨论、AI 可引用摘要和相关观点集合。
一篇论文研究了密集检索器中的位置偏见问题,发现该偏见主要源于训练数据中证据的位置分布,而非模型固有特性。通过使用位置平衡的训练数据,可以显著降低模型对文档位置的敏感性,同时保持检索性能。