**HarnessOpt-Bench：评估LLM的Harness优化能力**

_HarnessOpt-Bench: Evaluating LLMs at Harness Optimization_

> 随着LLM在智能体系统中的广泛应用，其性能不仅取决于模型权重，还依赖于harness（prompt、工具、控制流、记忆和编排代码）。本文提出HarnessOpt-Bench基准，用于在昂贵且随机的评估环境下测试LLM的端到端harness优化能力。研究评估了5个前沿LLM作为优化器，在4个下游任务上完成111次评分运行。结果表明，优化器模型间的差异大于其编码harness的差异，原生harness并非始终更优，且收益因任务和种子配置而异，证明harness优化是可测量且具区分度的能力，仍有较大提升空间。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-08-07 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2608.06301)