**《TASTE：提升智能体基准测试的覆盖范围与难度》**

_A Matter of TASTE: Improving Coverage and Difficulty of Agent Benchmarks_

> 随着智能体能力的提升，现有的基准测试（如τ²-Bench）正逐渐饱和。然而，构建新的基准任务仍然复杂、昂贵且耗时。本文提出了一种名为TASTE的方法，通过逆转任务构建流程来自动生成具有更广泛工具使用覆盖范围和更高难度的基准任务。TASTE利用自适应对比n-gram模型，基于大语言模型（LLM）判断的有效性信号进行训练，从而采样出有效的工具序列。通过聚类选择代表性序列并实例化为完整的基准任务，再通过迭代难度演化进行优化。使用TASTE构建的τ^c-Bench基准测试，在τ²-Bench三个领域上进行了扩展。评估发现，在现有基准测试中得分接近饱和的模型，在新基准上性能显著下降（例如，Gemini-3-Flash从0.82-0.94降至0.28-0.61）。此外，生成的任务使智能体必须执行的独特工具组合数量增加了一倍以上。结果表明，现有基准测试中的高分往往反映饱和度，而非稳健的任务解决能力。TASTE通过自动化生成高难度、高覆盖的基准测试，为未来智能体的持续、可扩展评估提供了支持。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.28556)