**用变异分析衡量 GPU 内核基准测试判定器是否可靠**

_Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles_

> 当前 LLM 生成 GPU 内核的基准测试仅用少量随机输入和宽松浮点容差判定正确性，其结论却直接影响排行榜与强化学习奖励。该论文提出以变异分析作为内核基准判定器（oracle）的充分性指标：向 188 个 KernelBench 问题的已验证 CUDA 实现注入 10,303 个可编译故障（其中 7,384 个有独立 kill witness），官方检查确定性漏检 16.9%，且漏检呈家族偏斜——算术故障漏 8.7%，精度故障漏 78.6%。该指标还能拆解 KernelBench-Verified 补丁的增益来源（隐藏输入 +4.0 分、更紧容差 +4.5 分），并发现某公开 fuzzing 配方误拒正确内核 107 次；基于 kill 矩阵优化测试套件，每题仅用两个输入即可达 98.0% 检出率（留出集 94.8%）。在 48 个整体架构上盲区随规模增大并集中于深层同构流水线，另有两个问题的官方参考本身违反容差、无法被裁定。数据集已开源。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-22 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.22220)