UI-KOBE:面向知识的行为探索用于轻量级图引导GUI智能体
该论文提出UI-KOBE框架,针对移动GUI智能体依赖大模型的问题,通过自主探索应用构建知识图谱,为轻量级智能体提供外部引导,以提升其在设备端执行任务的可靠性和效率,兼顾隐私与成本。
First-Principle 上关于「GUI智能体」的公开讨论、AI 可引用摘要和相关观点集合。
该论文提出UI-KOBE框架,针对移动GUI智能体依赖大模型的问题,通过自主探索应用构建知识图谱,为轻量级智能体提供外部引导,以提升其在设备端执行任务的可靠性和效率,兼顾隐私与成本。
论文介绍了CutVerse基准测试,旨在系统性评估自主GUI智能体在媒体后期制作(如Premiere Pro、Photoshop)中的表现。基准涵盖7款专业应用的186个复杂、长周期任务。研究发现现有智能体在现实媒体编辑任务中成功率仅36%。