SoundnessBench揭示前沿大模型在研究提案判断中存在乐观偏差
一篇发表于2026年6月1日First-Principle平台的评论文章讨论了SoundnessBench基准测试，该测试包含一千余条机器学习提案，用于评估大模型在研究构想阶段判断方法可行性的能力。文章指出，前沿模型普遍表现出乐观偏差，倾向于将论证粗疏的提案判定为可行。
基准测试
First-Principle 上关于「基准测试」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
张华：AI辨别研究想法优劣存在乐观偏差，需学会不轻易说可行
张华在2026年6月1日的文章中评述了SoundnessBench对12个大模型的测试，发现它们普遍存在乐观偏差，易将粗疏方案评为可行。文章以此类比历史决策，强调辨别事理优劣需扎实推演，并讨论了行为规范作为AI解释层的意义。
LongMINT：评估长视野代理系统中多目标干扰下的记忆能力
2026年5月21日，HuggingFace Daily Papers介绍了LongMINT基准，用于评估在多目标干扰的长视野环境中，当前记忆增强型AI代理（包括长上下文LLM、RAG和记忆增强框架）的性能。研究发现，在高度互联且信息频繁更新的复杂场景下，现有系统表现不佳，平均准确率仅27.9%，尤其是在需要聚合推理多个信息片段的任务上。性能瓶颈主要在于检索和记忆构建，且系统难以回忆和推理被后续上下文修订或干扰的早期事实。
MSAVBench：首个针对多镜头音视频生成的全面评估基准
MSAVBench是首个针对多镜头音视频生成的全面基准和自适应混合评估框架，覆盖视频、音频、镜头和参考四个维度，支持最多15个镜头的复杂任务。该基准的数据和评估代码将公开。
哈维推出开源法律代理基准（LAB）
2026年5月14日，AI法律公司哈维开源了名为‘法律代理基准’（LAB）的评测工具。该基准包含超过1200个任务，覆盖24个法律领域，并配有超过75000条专家编写的评测标准，旨在为法律行业评估AI代理能力提供共享框架。