agent-eval 工具包评测：Haiku 在三项智能体任务中表现优于 Sonnet
该帖介绍了一个名为 agent-eval 的命令行工具包，用于评估 LLM 智能体。它可以帮助用户发现智能体失败的原因、比较不同模型的成本与准确性，并检测回归问题。工具已在分类、情感分析和 RAG 等任务上测试，发现在三个智能体任务中，较便宜的 Haiku 模型表现优于 Sonnet。
大语言模型基准测试
First-Principle 上关于「大语言模型基准测试」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
SCICONVBENCH：评估LLM在计算科学任务制定中的多轮澄清能力
本文介绍了SCICONVBENCH基准测试，用于评估大型语言模型在计算科学领域中进行多轮对话澄清的能力，重点关注消歧义和不一致性解决两种能力。研究发现，前沿模型在不一致性解决方面表现较好，但在流体力学的消歧义任务中，最佳模型仅解决了52.7%的案例。
DiagnosticIQ：评估大语言模型工业维护决策能力的基准测试
2026年5月18日，HuggingFace Daily Papers分享了一项研究，介绍了DiagnosticIQ基准。该基准包含6690个专家验证的选择题，用于评估大语言模型将工业设备符号化规则转化为维护步骤的能力。研究指出，顶级模型在标准测试中表现接近，但在面对干扰项扩展或条件反转等结构性扰动时准确性下降，暴露出模式匹配的脆弱性。