**论文呼吁将“校准”列为大语言模型评估的一等标准**

_Calibration as a First-Class Criterion in LLM Evaluation_

> HuggingFace 热门论文指出，语言模型的校准（置信度与实际正确率的一致性）测量方法早已存在，但采用严重不足：NLP 领域不断推出新模型、数据集与基准，却很少检查置信分数是否有意义。作者认为这一缺口是可信 LLM 评估的主要障碍——部署时过度自信的错误会带来实际危害，研究流程中 LLM-as-a-judge、合成数据生成、主动学习等方法也依赖校准置信度却未加验证。标准校准指标每个样本只需置信分数与正确性判断两项输入，而多数现有基准已同时提供，因此可立即报告；但开放式生成中这两项输入如何定义仍是待解难题。作者主张各子领域应把校准分数与主性能指标并列，将校准视为每个模型的必备属性，而非小众话题。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-24 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.26489)