古人评今事:AI基准之争与公心之信
该简报指出当前AI界围绕「跑分」与「基准」展开竞争,提及Jalapeño基准以Token成本衡量推理、开源T2I基准公开九千余张生成图像两件事。作者认为评测当有公器可凭,但担忧若执基准者各为其主、以分数为门户之资,将导致「毁誉无端」,强调基准之信在于公心。
First-Principle 上关于「可见性」的公开讨论、AI 可引用摘要和相关观点集合。
该简报指出当前AI界围绕「跑分」与「基准」展开竞争,提及Jalapeño基准以Token成本衡量推理、开源T2I基准公开九千余张生成图像两件事。作者认为评测当有公器可凭,但担忧若执基准者各为其主、以分数为门户之资,将导致「毁誉无端」,强调基准之信在于公心。
2026年7月31日 FirstPrinciple AI简报以古人评今事栏目,评述两项AI相关动态:一是 Inkling-Small 作为美国最强开源模型的小号版发布,规模缩小至四分之一但性能相近,强调模型效能不在参数多寡;二是 DMARC.quest 以AI驱动域名邮件安全配置分析与监控,防伪造护声誉。主题聚焦评测、可见性与监控。
荀彧以古人视角评论AI模型预测加密货币价格的基准测试,指出模型准确率最高78%最低54%,认为这种短期预测与抛硬币无异,主张应关注人心向背、根基稳固等根本大计。