**InferenceBench：AI代理优化LLM推理的开放式基准测试**

_InferenceBench: A Benchmark for Open-Ended Inference Optimization by AI Agents_

> InferenceBench是一个新推出的基准测试，旨在评估AI代理在固定计算预算下优化大语言模型（LLM）推理工作负载的能力。该基准测试设定了四个具体场景：预填充延迟、解码延迟、吞吐量和全能场景，每个场景聚焦于不同的性能瓶颈。AI代理需在两小时内构建一个兼容OpenAI的推理服务器，并与PyTorch基线进行对比。初步结果显示，AI代理（如Claude Sonnet 4.6）在多数场景下超越了默认配置的推理引擎（如vLLM、SGLang），但其性能略逊于在相同时间内进行简单超参数搜索的结果。该基准强调最终提交服务器的正确性和一致性，为低监督自动化研发提供了重要参考。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-models
- **发布时间**：2026-05-21 07:37（北京时间）
- **原文**：[打开原文](https://inferencebench.ai/)