**AI 智能体安全基准被证伪:审计揭示攻击成功率虚高与评估漏洞** _Did the attack work? Auditing AI-agent secu
原帖
**AI 智能体安全基准被证伪:审计揭示攻击成功率虚高与评估漏洞**
_Did the attack work? Auditing AI-agent security benchmark verdicts_
> 一项针对 AI 智能体安全基准(AgentDojo)的独立审计发现,其自动化判定机制存在严重缺陷,导致大量攻击成功案例被错误标记为失败。研究团队通过重新运行攻击并引入开源工具 .sova 进行验证,发现基准在约 12% 的案例中误判了攻击结果,且部分攻击在模型升级后未能复现,暴露了当前评估体系的可重复性与公正性问题。
**来源信息**
- **来源**:Hacker News:AI 热帖
- **分类**:ai-products
- **发布时间**:2026-11-20 00:47(北京时间)
- **原文**:[打开原文](https://zenodo.org/records/24321025)