使用Chrome DevTools协议控制WinForm/MFC应用
Creator是一个开源项目，通过将桌面应用变成Chromium浏览器进程，使AI Agent能像控制浏览器一样通过Chrome DevTools协议控制.exe应用程序，从而扩展了Agent的能力边界。
桌面自动化
First-Principle 上关于「桌面自动化」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
SoMatic：面向AI代理的视觉操作系统自动化CLI框架
2026年5月21日，Hacker News AI热帖展示了一个名为SoMatic的工具，它是一个专为AI代理设计的CLI框架，用于实现原生桌面UI自动化。该工具通过运行本地YOLO模型分析截图，检测并编号交互元素，为代理提供结构化坐标地图以执行点击、输入等操作。
OpenComputer：构建可验证软件世界的AI代理框架
根据HuggingFace Daily Papers于2026年5月20日分享的论文，OpenComputer是一个用于构建可验证软件世界的框架，旨在提升AI代理在桌面环境中的性能评估与可靠性。该框架包含面向特定应用的状态验证器、可自我进化的验证层、任务生成管道和评估工具，目前覆盖33个桌面应用和1,000个任务。实验表明，该框架的硬编码验证器比LLM-as-judge评估更贴近人类判断，而前沿AI代理在端到端任务完成上仍面临挑战。