利用代理指标预测大语言模型下游性能
HuggingFace Daily Papers 发布的论文提出了一种利用专家撰写解决方案的下一词分布统计（如熵、top-k准确率、专家词秩）构建代理指标的方法。该方法在跨模型族选择、预训练数据选择、训练时预测三种场景中，优于基于损失和计算的传统基线。
模型选择
First-Principle 上关于「模型选择」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
AI代理安全测试：Opus模型表现最优，能有效抵御多种攻击场景
本文基于21种真实攻击场景的测试，比较了Claude Haiku、Sonnet和Opus模型在AI代理安全中的表现。研究发现，较弱的模型容易被简单的商业数据投毒攻击绕过，而Opus模型凭借更强的推理能力，能识别攻击来源、隔离可疑数据并升级处理。作者建议，对于大多数团队而言，选择最强模型（如Opus）是提升AI代理安全性最简单、最有效的第一步。