**QuoteBench:匹配分数如何掩盖命令路径失败** _QuoteBench: How Matched Scores Can Hide Command-
原帖
**QuoteBench:匹配分数如何掩盖命令路径失败**
_QuoteBench: How Matched Scores Can Hide Command-Path Failures_
> 研究指出LLM编码代理通过接口发出Bash命令时,仅凭匹配执行分数无法区分命令生成错误与执行过程中的失败。QuoteBench通过精确最终状态验证,在56个任务上测试发现,添加未转义解析器后成功率下降55.4至73.2个百分点。原始生成能力已接近饱和,边界适应能力才是区分模型性能的关键。建议评估命令代理时应报告完整配置信息而非仅依赖匹配分数。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-08-21 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2608.13547)