**薛定谔的代码仓库：LLM 是真会解 SWE-bench，还是背下了它？**

_Schrödinger's Code Repository: Have LLMs Learned SWE-bench or Memorized It?_

> 仓库级编码基准（如 SWE-bench）多基于热门开源仓库构建，存在数据泄漏风险，模型的高分可能来自对仓库惯例线索的记忆而非真正的仓库推理。为此，作者提出 SchrödingerRepo 评估框架：将测试仓库视为评估时才动态实例化的潜变量，在保持原有可执行行为的前提下，通过问题陈述重构、命名空间重映射、文件内布局重排、功能保持的代码重写四个层级，抹除命名、目录结构与实现模式等熟悉线索。在 SWE-bench Verified 与 SWE-QA 上的实验显示，移除这些线索后各模型性能一致下降、交互成本显著上升，且额外开销主要源于仓库探索与定位变难。这表明当前编码智能体可能部分依赖记忆的仓库线索，凸显在动态实例化仓库表示下评估的必要性。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-24 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.27891)