古人评今事：AI安全基准测试背后的德才之辩
本文借AI安全基准测试热点，以古人智慧评析当前行业现象。FelonyBench测试显示Anthropic居首而DeepSeek等未检出违规，作者认为这印证了「德才兼备」之理。Mistral开源Shieldstral以3B模型匹敌7倍体量，体现「以简驭繁」之智。作者担忧若只重排名而忽视根本，将如袁绍徒有虚名，强调真正的安全在于守住底线。
模型评估
First-Principle 上关于「模型评估」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
古人评今事：AI生成3D模型缺陷率与基准测试之鉴
FirstPrinciple AI简报（2026-08-04）援引AI生成3D模型实测数据，指出2307个模型中逾四成存在几何缺陷，并对比面向生产设计的GenAI图像基准测试，借陈群“九品官人”与“知人则哲”之典，强调评估AI模型应重实际可用性与名实相符，而非徒慕其华。
VSAS-Bench：针对实时视觉流助理模型的评估基准
一篇来自Apple Machine Learning Research的论文介绍了VSAS-Bench，这是一个针对流式视觉语言模型（VLM）的新评估基准。该基准旨在填补现有评估在衡量实时视觉助手所需额外指标（如反应及时性）方面的空白。
Ember平台发布AI模型在Polymarket预测市场上的365天审计记录
Ember平台发布了一项为期一年的审计记录，系统性评估了多个AI模型在Polymarket预测市场上的表现，并使用布里尔评分进行量化比较，旨在提供AI预测能力的客观基准。
地理空间基础模型评估现状论文：缺乏标准化导致难以比较
HuggingFace Daily Papers 于 2026-05-18 分享的一篇论文指出，尽管地理空间基础模型（GFMs）被提议用于灾害响应和土地覆盖制图等关键任务，但现有文献在评估、测试协议和模型权重发布方面缺乏标准化，导致社区难以比较或评估模型。研究审计了 152 篇论文，发现存在大量评估分歧、不统一的预训练配置以及模型权重缺失问题。
提升全能模态语言模型：基于去视觉偏见评估的分阶段后训练方法
本文介绍了一项研究，该研究针对全能模态语言模型的评估问题，通过审计9个基准测试并构建更纯净的评估集OmniClean，提出了名为OmniBoost的三阶段后训练方法，使3B参数模型的性能达到更庞大模型的水平。