**基准测试不够：RAMP——生产系统中代理模型的运行时评估框架**

_Benchmarks are Not Enough: RAMP for Runtime Assessing of Agentic Models in Production Systems_

> 现有基准测试无法反映LLM代理在生产环境中的实际能力。RAMP框架通过构建真实的编译器工作负载和阶段性故障恢复机制，评估了15个主流模型，发现任务完成率从初始阶段的100%骤降至最终阶段的20%，且无模型能完整完成任务。这揭示了静态基准测试无法发现的系统性能力退化。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-04 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.27492)