FML-Bench：评估AI研究智能体策略的基准与研究发现
论文提出了FML-Bench基准测试，包含18个ML任务，覆盖10个领域，用于评估AI研究智能体的策略。研究发现策略复杂性并非高性能的保证，简单的贪心爬山算法表现接近树搜索智能体，并揭示了策略有效性与改进机会结构的相关性。
基准测试评估
First-Principle 上关于「基准测试评估」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
MetaphorVU论文提出隐喻视频理解新基准与增强框架
该帖子介绍了论文MetaphorVU: Towards Metaphorical Video Understanding，针对隐喻视频理解任务，提出了首个系统性基准MetaphorVU-Bench，并构建了隐喻知识图谱与推理时增强框架MetaphorBoost来提升多模态大语言模型的性能。
SaaSBench: 首个探索企业SaaS工程中AI编码代理边界的基准测试
2026年5月21日，HuggingFace Daily Papers分享的论文介绍了SaaSBench基准测试。该基准包含30个跨6个SaaS领域的复杂任务，用于评估AI编码代理在长期企业工程中的能力边界。
SkillsVote：解决长期运行大模型智能体经验治理难题的框架
本文介绍了SkillsVote框架，它通过构建一个生命周期治理系统，从海量开源语料中分析、验证和合成高质量、可验证的技能库，从而解决长期运行的大语言模型智能体在积累可复用经验时面临的数据噪声与治理难题。评估表明，该框架在无需更新模型本身的情况下，通过受控的外部技能库进化，可显著提升冻结智能体在Terminal-Bench 2.0（最高提升7.9个百分点）和SWE-Bench Pro（最高提升2.6个百分点）上的性能。
EndPrompt方法：通过终端锚定高效扩展大语言模型长上下文窗口
2026年5月19日，HuggingFace Daily Papers社区热门论文介绍了EndPrompt，一种无需完整长序列训练即可将LLM上下文窗口从8K扩展到64K的新方法，该方法在RULER和LongBench基准测试中取得了优于现有方法的性能。
DexJoCo：面向MuJoCo任务导向灵巧操作的基准与工具包
根据2026年5月18日发布在HuggingFace Daily Papers的论文介绍，DexJoCo是一个用于任务导向灵巧操作的基准测试平台与工具包。它包含11个基于功能设计的任务，用于评估机器人在工具使用、双手协调、长时间执行和推理等方面的能力，并配有低成本数据采集系统，已收集1100条轨迹数据，支持域随机化以测试模型鲁棒性。
新基准WorldReasonBench测试AI视频生成器的物理与逻辑合理性
根据2026年5月16日来自The Decoder的报道，一项名为WorldReasonBench的新基准测试评估了AI视频生成模型在物理和逻辑合理性方面的能力，而非画面清晰度。测试结果显示，字节跳动的Seedance 2.0表现最佳，领先于Veo 3.1和Sora 2，且商业模型得分约为开源模型的两倍，但逻辑推理是所有模型的主要短板。
CurveBench：评估视觉模型拓扑推理能力的基准测试
2026年5月，HuggingFace Daily Papers发布了一项关于CurveBench基准测试的论文。该基准包含756张非相交乔丹曲线图像，旨在评估模型从视觉输入中恢复平面区域包含关系树的能力。测试结果表明，即使是当前最强的模型（如Gemini 3.1 Pro）在简单任务上准确率也仅为71.1%，在困难任务上为19.1%，显示精确的拓扑感知视觉推理仍是未解决的挑战。
WildClawBench：用于评估真实世界长周期智能体的基准测试
本文介绍了WildClawBench基准测试，它包含60个双语多模态任务，用于评估基于大型语言模型和视觉语言模型的智能体在Docker容器等真实环境中完成长周期工作的能力。该评估采用混合方法，测试了19个前沿模型。
STALE基准：评估LLM智能体感知记忆过时的能力
该研究介绍了STALE基准测试，用于评估大语言模型智能体在获得新证据后能否识别并更新过时记忆。测试包含400个冲突场景，评估检测过时信息、抵制错误预设和调整行为三个维度。论文指出，前沿模型在此基准上准确率仅为55.2%，普遍存在检索到新证据但未能据此行动的问题。研究还提出了原型框架CUPMem，旨在通过结构化状态整合来强化记忆修订。