**策略非能力：安全基准衡量的是你训练的“不安全”定义，而非模型本身能力**

_Policy Is Not Capability: Some Safety Benchmarks Measure Which Definition of "Unsafe" You Trained On_

> 研究揭示现有安全基准（如 JailbreakBench）存在严重缺陷：它们将“不安全”视为文本属性，实则衡量的是模型训练标签所定义的“策略”。实验发现，同一架构下不同标签定义会导致基准分数出现 23 倍差异，且仅微调 0.03% 参数即可大幅改变分数。作者建议，安全评估应优先报告数据污染、基准种子下限及所依据的定义，而非单纯依赖检测能力分数。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-20 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.25060)