**SoundnessBench：你的AI科学家真能辨别研究想法的优劣吗？**

_SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones?_

> 该研究引入了SoundnessBench基准测试，旨在评估大语言模型（LLMs）在早期研究提案阶段判断其方法可行性的能力。基准包含1,099个从ICLR提交中重建的机器学习研究提案，并标注了评审员对研究严谨性的子分数。研究发现，当前前沿的12个LLM普遍存在乐观偏差：在标准提示下，模型倾向于将低严谨性的提案评为可行；而激进提示则主要将错误从误报转向漏报。经过多项控制（如公共语料污染、表面特征等）后，表明该行为并非由单一混淆因素导致。结论是，目前LLM尚未可靠到能独立作为科学研究严谨性的首道评估关卡。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-01 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.30329)