**REALCLI：首个统一评估人机协作的 CLI 智能体基准，揭示前沿模型协作能力严重不足**

_RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents_

> 针对现有基准无法有效评估命令行智能体（CLI Agents）运行时人机协作质量的痛点，论文提出了 REALCLI 基准。该基准通过五维框架和 51 种交互场景模板，区分了“完整指令”与“渐进式协作”两种模式。评估结果显示，前沿大模型在可引导性、信任校准和安全管理方面存在巨大短板，最佳配置的平均得分仅为 49.2%，联合协作得分峰值仅 37.6%，表明任务执行效果与协作质量之间存在显著差异。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-29 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.22507)