**实测 Jev 在 100 次真实 Agent 工具调用上的表现**

_We Tested Jev on 100 Agent Tool Calls_

> 作者在 OpenAPPA 标注管线中用 100 条来自生产 Claude Code 会话的真实工具调用，对比 Jev、Sonnet 5 及多个开源模型。真实调用中 79% 是无害的本地操作，形成“79% 常数陷阱”：75% 准确率的分类器反而不如永远返回 benign 的硬编码基线。难点在于模型常混淆 delta（工具输出属性）与 requires（调用前提），例如 Slack 发消息、不透明引用等场景。这是早期结果，既暴露了模型缺陷，也暴露了基准本身的问题。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-models
- **发布时间**：2026-09-21 23:16（北京时间）
- **原文**：[打开原文](https://archestra.ai/blog/we-tested-jev-on-100-real-agent-calls)