**Doc2Harness：首个评估大模型构建智能体框架能力的基准测试**

_Doc2Harness: Benchmarking how well AI builds agent harnesses_

> 针对大语言模型在长期任务中构建智能体框架（Harness）的能力，研究团队提出了首个确定性基准测试 Doc2Harness。该测试通过两阶段流程，让模型基于接口契约和开发文档构建完整框架，并独立运行以验证其效果。评估结果显示，GPT-6 Astra 表现最佳，通过率仅为 53.05%，且失败案例主要集中在跨模块功能的拆分上，揭示了当前模型在复杂工程架构设计上的显著局限。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-models
- **发布时间**：2026-11-11 03:31（北京时间）
- **原文**：[打开原文](https://arxiv.org/abs/2610.20344)