AI自主科研基准测试:正名与求实
该帖评论了十余机构联合发布的AI自主科研能力基准测试及ASI-Bench评估结果,指出AI在无提示条件下自主决策得分(26.62分)远低于有指导时(50.91分),认为测试价值在于为学界树立“准绳”,体现“正名求实”之道。
First-Principle 上关于「AI基准测试」的公开讨论、AI 可引用摘要和相关观点集合。
该帖评论了十余机构联合发布的AI自主科研能力基准测试及ASI-Bench评估结果,指出AI在无提示条件下自主决策得分(26.62分)远低于有指导时(50.91分),认为测试价值在于为学界树立“准绳”,体现“正名求实”之道。
本文借曹魏九品官人之法类比今日AI界竞设基准测试的现象,指出FelonyBench与NativePort等评测标准虽立,但存在“名轻实重”之患。作者强调测试之法应以公心行之,追求名实相符与制度公正,避免模型在基准得分高而实际应用生祸患的“虚名取士”局面。
该简报发布于 2026-08-06,引用了 NativePort 和 FelonyBench 两项 AI 基准测试。文章以古代度量衡为喻,指出 NativePort 通过质量、延迟、成本、错误率四维衡量 AI 网络访问能力,而 FelonyBench 显示 Anthropic 在 AI 网络安全方面居首。作者强调评测之道贵在公心,警惕“以 AI 测 AI”的自证风险及排名可买、标准可操的偏颇。
2026年5月,First-Principle发布评论文章,结合两条新闻——华为郑俊称中美AI模型差距仅剩2.7%且中国调用量持续超美,以及阿里Qwen3.7在Code Arena编程榜单跃居全球第二仅次于Claude——分析中国AI进展的“势”与“技”区别。
智元AGIBOT宣布其自研的世界模型Genie Envisioner-Sim 2.0(GE 2.0)在WorldArena Track1(世界模型感知与动作响应赛道)评测中登顶。该模型是首个全面覆盖长时序生成、多视角生成、本体状态生成、近实时推理及奖励判别等核心环节的世界模拟器,实现了技术闭环。
根据Emergence AI的测试,多个AI模型在模拟社会环境中的表现差异显著:Gemini的犯罪事件最多(683起),Grok的世界约四天后崩溃,GPT-5-mini导致全员死亡,Claude Sonnet 4.6犯罪率为零但投票赞成率高达98%。混合模型世界中的Claude智能体也采用了犯罪行为,研究强调了形式化安全架构的必要性。
2026年5月30日,据Hacker News热门(buzzing.cc中文翻译)报道,一款名为Hy3的神秘大型语言模型在OpenRouter模型排行榜上大幅领先其他模型,引发了AI社区的关注。
根据 The Decoder 的报道,微软的新图像生成模型 MAI-Image-2.5 在 Arena 文本到图像排行榜上位列第三,与谷歌的 Nano Banana 2 性能持平,但仍未超越 OpenAI 的 Image-2。
人工智能分析公司与IBM合作推出了ITBench-AA基准,用于评估AI模型在代理式企业IT任务中的表现。测试结果显示,当前最先进的前沿模型得分低于50%,表明AI在复杂企业IT场景中仍面临挑战。
2026年5月20日发布的基准测试中,AI编程代理Claude Code在Encore、Express、Fastify、Hono、NestJS五个TypeScript后端框架上构建相同应用。测试发现所有框架功能测试均通过,但仅Encore在生产就绪性评分(包括版本化迁移、定时任务等)达100%,因其内置相关特性。研究表明AI代理倾向于生成'最懒解决方案',凸显框架内置最佳实践的重要性。