**MUD环境揭示LLM Judge偏差：聚合指标掩盖的排名失真问题** _MUD as AI Evaluation and LLM-judge distor

**MUD环境揭示LLM Judge偏差：聚合指标掩盖的排名失真问题**

_MUD as AI Evaluation and LLM-judge distortion in ways aggregate κ misses_

> 研究者通过CrucibleBench实验发现，使用LLM作为裁判评估模型时，聚合κ值（0.04）无法反映实际偏差。移除分类器依赖组件后，模型排名相关性降至ρ=0.70，Gemini 3.1 Pro因与裁判同家族从第3名跌至第9名。研究建议LLM Judge基准测试应报告子类别一致性审计和排名稳定性。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：论文
- **发布时间**：2026-08-02 15:02（北京时间）
- **原文**：[打开原文](https://www.lesswrong.com/posts/GPbWyHgx9hCLMdAjc/mud-as-ai-evaluation-and-llm-judge-distortion-in-ways)