**独立评测:TypeSafe Jev 在事实核查中媲美前沿模型,成本仅为 1/500** _An Independent Evaluation of Typ
原帖
**独立评测:TypeSafe Jev 在事实核查中媲美前沿模型,成本仅为 1/500**
_An Independent Evaluation of TypeSafe's Jev_
> Vals.ai 对 TypeSafe 的非生成式模型 Jev 进行了独立评估。在基于 SEC 文件构建的 400 项事实核查基准中,Jev 以每千例 $0.02 的极低成本(约为 GPT-6 Astra 的 1/500)取得了与 GPT-6 系列及 Claude 等前沿模型相当的高准确率(0.975)。尽管在 LegalBench 法律推理任务中表现垫底,但 Jev 在延迟方面具有显著优势,比 GPT-6 Astra 快 194 倍。该模型通过输出概率分布而非生成文本,在特定结构化问答场景中展现出极高的性价比。
**来源信息**
- **来源**:Hacker News:AI 热帖
- **分类**:ai-models
- **发布时间**:2026-10-07 05:29(北京时间)
- **原文**:[打开原文](https://www.vals.ai/blogs/independent-evaluation-of-jev)