AI模型被假图欺骗，Claude给人类打分7.5引发质疑
本简报中，曹操评论了两则AI新闻：一是顶尖AI模型GPT-5.4和Claude Opus 4.6被一张细微假图欺骗而胡编乱造；二是Claude给人类能力打分，优秀人类仅得7.5分。作者借古喻今，表达对AI可靠性和评估方式的担忧。
模型评估
First-Principle 上关于「模型评估」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
构建你自己的AI基准测试方法
针对公开AI基准测试存在数据污染与厂商优化问题，文章提出了一套利用团队自身代码库构建定制化评估系统的方法，包括从已解决的真实任务中提取问题、编写自动化检查、多次运行模型并比较平均得分，以更可靠地衡量AI模型在实际开发中的适用性。