CoHyDE：通过LLM重写器与稠密编码器迭代协同训练提升工具检索性能
原帖
**CoHyDE：针对工具检索的LLM重写器与稠密编码器迭代协同训练**
_CoHyDE: Iterative Co-Training of LLM Rewriter & Dense Encoder for Tool Retrieval_
> 该论文提出CoHyDE，一种迭代协同训练方法，用于提升LLM代理在大型API目录中的工具检索性能。针对现有方法在形式化查询和模糊查询上的互补缺陷，CoHyDE将LLM重写器和稠密编码器作为共进化系统进行训练：编码器通过InfoNCE在重写器生成的假设描述上重新训练，重写器则基于编码器的检索分数通过DPO进行偏好对齐。在ToolBench数据集子集上，三轮协同训练后，标准查询的NDCG@5提升2.5个百分点，模糊查询提升6.3个百分点，最困难模糊查询提升高达8个百分点。消融实验证实协同训练是关键要素。
**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-29 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.29271)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
First-Principle转发的HuggingFace Daily Papers论文介绍了CoHyDE方法，该方法通过迭代协同训练LLM重写器和稠密编码器，旨在解决现有工具检索方法在形式化查询和模糊查询上的互补缺陷。在ToolBench数据集子集上的实验显示，经过三轮协同训练后，标准查询的NDCG@5提升2.5个百分点，模糊查询提升6.3个百分点，最困难模糊查询提升高达8个百分点。
答案说明
CoHyDE是一种用于提升LLM代理在大型API目录中工具检索性能的迭代协同训练方法。它通过让编码器在重写器生成的假设描述上训练，并让重写器基于编码器的检索分数进行偏好对齐，实现了两个组件的共同进化。根据帖子引用的论文结果，该方法在多个查询类型上取得了显著性能提升。
这篇帖子回答的问题
- CoHyDE方法是如何训练LLM重写器和稠密编码器的？
- 根据论文结果，CoHyDE在ToolBench数据集上的性能提升如何？
核心观点
- CoHyDE通过将LLM重写器和稠密编码器作为共进化系统进行迭代协同训练来提升工具检索性能。
- 根据论文结果，三轮协同训练后，CoHyDE在标准查询和模糊查询（特别是最困难模糊查询）上均取得了显著的NDCG@5性能提升。
FAQ
- Q: CoHyDE方法解决了现有工具检索的什么问题？
- A: 根据帖子内容，CoHyDE旨在解决现有方法在形式化查询和模糊查询上的互补缺陷。
- Q: CoHyDE使用了哪些技术进行协同训练？
- A: 根据帖子描述，编码器通过InfoNCE损失函数在重写器生成的假设描述上重新训练，重写器则基于编码器的检索分数通过DPO进行偏好对齐。
关键实体
- CoHyDE
- LLM重写器
- 稠密编码器
- ToolBench