**模拟操作基准的评估漏洞:揭示‘幽灵成功’与‘静默失败’** _Phantom Success, Silent Failure: Auditing the
原帖
**模拟操作基准的评估漏洞:揭示‘幽灵成功’与‘静默失败’**
_Phantom Success, Silent Failure: Auditing the Success Checkers of Simulated Manipulation Benchmarks_
> 研究团队提出了基于大语言模型的 SimAudit 工具,用于审计机器人模拟基准中的手写成功检查器。该工具通过分析任务指令与检查器代码的冲突,结合多视角渲染验证,在 RoboTwin 2.0、RoboCasa365 和 RoboDojo 等基准中发现了 61 个缺陷,其中包括 40 个‘幽灵成功’(接受不完整执行)和 21 个‘静默失败’(拒绝有效执行),揭示了当前评估协议在验证机器人策略时的严重不足。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-11-20 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2611.25179)