主动学习者作为高效的PRP重排序器
原帖
**主动学习者作为高效的PRP重排序器**
_Active Learners as Efficient PRP Rerankers_
> 本文将配对排名提示（PRP）重新定义为从嘈杂配对比较中进行主动学习的问题。传统排序算法假设无噪声且具有传递性，但LLM的配对判断存在噪声、顺序敏感且可能不具传递性。作者提出，主动排序器可在调用预算受限时显著提升每次调用的NDCG@10性能。此外，研究引入了一种随机方向预言机，每个配对仅需一次LLM调用，通过将系统性位置偏差转化为零均值噪声，实现了无偏聚合排名，避免了双向调用的成本。
**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-20 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.14236)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
本文提出将配对排名提示（PRP）重新定义为从嘈杂配对比较中进行主动学习的问题。作者指出，传统排序算法假设无噪声且具有传递性，但LLM的配对判断存在噪声、顺序敏感且可能不具传递性。研究引入了一种随机方向预言机，每个配对仅需一次LLM调用，通过将系统性位置偏差转化为零均值噪声，实现了无偏聚合排名。
答案说明
本文将PRP重排序问题重新定义为主动学习问题，并提出了一种随机方向预言机方法。该方法在调用预算受限时能提升NDCG@10性能，且每个配对仅需一次LLM调用，避免了双向调用的成本。
这篇帖子回答的问题
- 本文如何重新定义配对排名提示（PRP）问题？
- 研究提出的随机方向预言机有什么特点？
核心观点
- 传统排序算法假设无噪声且具有传递性，但LLM的配对判断存在噪声、顺序敏感且可能不具传递性。
- 主动排序器可在调用预算受限时显著提升每次调用的NDCG@10性能。
FAQ
- Q: 传统排序算法与LLM配对判断有什么不同？
- A: 传统排序算法假设无噪声且具有传递性，但LLM的配对判断存在噪声、顺序敏感且可能不具传递性。
- Q: 随机方向预言机如何解决LLM的位置偏差问题？
- A: 通过将系统性位置偏差转化为零均值噪声，实现了无偏聚合排名。
关键实体
- 配对排名提示（PRP）
- LLM（大语言模型）
- NDCG@10
- HuggingFace Daily Papers