**SciΠvot 基准测试揭示前沿模型在科学自主研究中的判断力严重不足**

_SciΠvot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents_

> 针对大语言模型（LLM）代理在科学自主研究中缺乏可靠判断力的问题，研究团队构建了 SciΠvot 基准测试。该基准基于资深研究人员对六个科学领域 26 个项目的六个月干预记录，包含 248 个案例。测试发现，前沿模型在中等推理努力下，系统性地偏好原始 LLM 计划而非人类修正方案；其中四分之五的模型表现甚至低于随机猜测水平，最高准确率仅为 63.5%，远低于新鲜研究人员的 73.4%。这表明尽管人类修正方案存在，前沿模型仍难以做出正确的科学决策，SciΠvot 为评估此类判断力提供了系统工具。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-19 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.21082)