AgentLens：揭示SWE-Agent评估中的“幸运通过”问题
原帖
**AgentLens：揭示SWE-Agent评估中的“幸运通过”问题**
_AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation_
> 本文提出了一种名为AgentLens的框架，用于对软件工程（SWE）智能体的代码生成轨迹进行过程级评估，而非仅依赖最终测试结果。研究发现，在通过测试的轨迹中，约10.7%属于“幸运通过”——即通过盲目重试、无验证循环等混乱方式偶然成功的案例。作者发布了包含1815条带注释轨迹的数据集AgentLens-Bench，并揭示了按质量评分排名与按通过率排名存在显著差异。该研究对理解和改进代码生成智能体的可靠性和评估方法具有重要意义。
**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-14 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.12925)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
本文介绍了一个名为AgentLens的框架，用于对软件工程（SWE）智能体的代码生成轨迹进行过程级评估。该研究发现，在通过测试的轨迹中，约10.7%属于“幸运通过”，即通过盲目重试、无验证循环等混乱方式偶然成功的案例。研究还发布了包含1815条带注释轨迹的数据集AgentLens-Bench。
答案说明
AgentLens是一个用于评估软件工程智能体代码生成轨迹的框架。它通过过程级评估（而非仅依赖最终测试结果）发现，约10.7%通过测试的轨迹属于“幸运通过”，即通过盲目重试等偶然方式成功。该研究发布了AgentLens-Bench数据集，并指出按质量评分排名与按通过率排名存在显著差异。
这篇帖子回答的问题
- 什么是SWE-Agent评估中的“幸运通过”问题？
- AgentLens框架如何评估软件工程智能体？
核心观点
- 研究发现在通过测试的SWE-Agent轨迹中，约10.7%属于“幸运通过”，即通过盲目重试、无验证循环等混乱方式偶然成功的案例。
- 该研究揭示了按质量评分排名与按通过率排名存在显著差异，表明仅依赖测试结果可能无法准确反映智能体代码生成的质量。
FAQ
- Q: 为什么仅依赖测试结果评估SWE-Agent可能存在问题？
- A: 因为根据AgentLens的研究，约10.7%通过测试的轨迹属于“幸运通过”，即通过盲目重试、无验证循环等混乱方式偶然成功的案例，这表明仅依赖测试结果可能无法准确反映智能体的代码生成质量。
关键实体
- AgentLens
- AgentLens-Bench
- SWE-Agent