**KaliBench:面向Kali Linux安全工具调用的细粒度基准测试**

_KaliBench: A Fine-Grained Benchmark for Cybersecurity Tool Use on Kali Linux with Runtime-Free Verifiable Rewards_

> 针对现有评估缺乏对LLM生成可执行安全命令能力直接测量的问题,研究团队提出KaliBench基准。该数据集包含8504个查询-命令对,覆盖Kali Linux中1642种工具及23个能力维度,通过多阶段验证管道确保语义正确性与可执行性。实验显示,无提示下开源模型精确命令准确率不足42%,但利用KaliBench的可验证奖励进行微调与强化学习,可显著提升8B模型性能,使其接近685B MoE模型水平。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-02 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.02206)