**OmniGUI：在全能模态智能手机环境中对GUI智能体进行基准测试**

_OmniGUI: Benchmarking GUI Agents in Omni-Modal Smartphone Environments_

> 当前图形用户界面（GUI）智能体的基准测试主要依赖静态屏幕截图，但现实世界的智能手机交互通常需要智能体处理瞬态音频线索和与行动时刻紧密相关的时序视频动态。为弥补这一差距，本文介绍了OmniGUI，这是首个用于评估全能模态智能手机环境中GUI智能体的步骤级基准。OmniGUI在每个行动步骤都提供连续、交错的多模态输入，包括静态图像、同步音频和视频片段。数据集涵盖29个应用程序中的709个专家演示片段（2,579个行动步骤），并系统性地标注了客观的多模态依赖级别。由于专门的全能模态GUI智能体框架目前尚处于起步阶段，研究选择能够原生处理交错输入的基座全能模态模型作为初步基线的智能体代理。实证评估显示，虽然当前模型在视觉静态任务上表现出色，但在需要同步时序和听觉信号的环境中，其动作预测性能显著下降。此外，消融研究隔离了特定的操作瓶颈，尤其是在处理任务无关环境噪声时的跨模态干扰。数据集、评估流程和基线提示已随文提供。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-20 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.18758)