**GitLoom 实测 TypeSafe Jev：确定性答案模型在生产中的能与不能**

_Where Jev worked for us, and where it didn't_

> TypeSafe 发布新模型 Jev，针对封闭式问题返回固定答案类型（是/否、多选一）加一个置信度数值。GitLoom 将四个决策迁移到该模型：可用的部分包括——置信度比准确率更重要，可设阈值（高于 0.8 才行动，否则维持原行为）从而放心上线；成本约每千次 6 美分；固定答案可人工核对，其分类器在 85% 给出答案的案例中准确率 98.0%，优于被替换的规则匹配代码的 88.2%。由于模型又快又便宜，GitLoom 改为在查询到达时实时对 PR 打分检索，不再依赖预建标签体系。不适用的部分是排序：Jev 的分数只表示“该 PR 是否与主题相关”的置信度，一旦明确相关就都落在 0.97–0.99，段内顺序近乎噪声，也无法体现重要性（重命名权限常量与重写权限的 PR 同分），因此按分数排序并不等于按有用程度排序，这部分仍需进一步实验或改用其他策略。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-09-22 18:34（北京时间）
- **原文**：[打开原文](https://gitloom.ai/blog/jev-in-production)