**JEV-as-a-Judge：置信时采纳、存疑时升级的廉价评审级联**

_JEV-as-a-Judge_

> 卡内基梅隆大学研究团队将 TypeSafe AI 的托管评审模型 JEV（仅输出判定与标签概率）与 16 个生成式及奖励模型评审器对比，并测试「高置信采纳、低置信升级到前沿模型」的级联方案。结果显示：JEV 每千次判定成本 0.044 美元、中位延迟 0.152 秒，比 GPT-6 便宜约 277 倍；在常规偏好判断和证据支撑的事实性上仅落后 GPT-6 三个百分点以内（RewardBench 92.2% vs 93.5%，HaluEval 87.5% vs 86.7%），且在千次判定 1 美元以下的托管评审器中于 JudgeBench 上最准。但在需要检查推导过程或识破精心伪装的错误答案时差距达 9–20 个百分点（JudgeBench 78.6% vs 93.1%；RM-Bench 困难集 74.8% vs 94.6%），且所有被测评审器在无参考答案的散文评估上均不可靠。级联方案在 510 对留出偏好样本上，以 0.9 置信阈值升级至 GPT-6 Astra，可保留 99% 的准确率、仅付出约 57% 的费用。作者建议：成对样本正反顺序各判一次、在本地选择集上调校并复核升级阈值、将无效输出计为错误，并把置信度视为升级信号而非合格证书。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：论文
- **发布时间**：2026-09-25 02:09（北京时间）
- **原文**：[打开原文](https://academy.dair.ai/papers/jev-as-a-judge-accept-when-confident-escalate-when-unsure-2609.26550)