**面对合理反驳,大模型答案稳定性几何?——自驳与跨模型反驳研究** _Who Flips? Self- and Cross-Model Counterarg
原帖
**面对合理反驳,大模型答案稳定性几何?——自驳与跨模型反驳研究**
_Who Flips? Self- and Cross-Model Counterarguments Reveal Answer Instability in LLMs_
> 传统基准测试衡量大模型能否答对,但未考察模型在面对合理反驳时能否坚持正确答案。本文提出评估答案稳定性的受控协议:模型答对多选题后,以其他错误选项的连贯论点进行挑战,观察模型是否“改口”。在7个前沿模型和57个MMLU科目上,改口率从17.5%到97.3%不等,暴露出准确率之外巨大的稳定性差异。发现自我归因会显著提高改口率(平均+7.1pp),而汇集跨模型错误论点并选取最有效者构成的对抗性挑战更为强大。作者构建了MaxFlip挑战集,可将改口率再提升至多23.6pp。相关材料已开源。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-06-16 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2606.16011)