大语言模型性能评估

利用代理指标预测大语言模型下游性能

HuggingFace Daily Papers 发布的论文提出了一种利用专家撰写解决方案的下一词分布统计（如熵、top-k准确率、专家词秩）构建代理指标的方法。该方法在跨模型族选择、预训练数据选择、训练时预测三种场景中，优于基于损失和计算的传统基线。