微软正式开源UFO²，Windows桌面迈入「AgentOS 时代」

本论文第一作者为微软 DKI 团队的 Chaoyun Zhang，其为 Windows 平台首个智能体系统 ——UFO 的核心开发者，该项目已在 GitHub 上开源并获得约 7,000 Stars，在社区中引发广泛关注。同时，他也是一篇超过 90 页的 GUI Agent 综述文章的主要撰写者，系统梳理了该领域的关键进展与技术框架。其余项目的主要贡献者亦均来自微软 DKI 团队，具备深厚的研究与工程背景。

论文标题：UFO²: The Desktop AgentOS论文地址：https://arxiv.org/abs/2504.14603开源代码：https://github.com/microsoft/UFO/项目文档：https://microsoft.github.io/UFO/

近年来，图形用户界面（GUI）自动化技术正在逐步改变人机交互和办公自动化的生态。然而，以 Robotic Process Automation（RPA）为代表的传统自动化工具通常依赖固定脚本进行操作，存在界面变化敏感、维护成本高昂、用户体验欠佳等明显问题。

同时，近年来兴起的基于大型语言模型（LLM）的计算机智能体（Computer-Using Agents，CUA）虽然展现出灵活的自动化潜力，但多数方案仍停留在概念验证或原型阶段，缺乏与操作系统深度集成的能力，制约了其在实际工作环境中的规模化应用。

针对这些行业痛点，作为前代纯 GUI 桌面智能体 UFO 的全面升级版，微软研究团队近日正式开源了业内首个深度集成 Windows 操作系统的桌面智能体平台 ——UFO² AgentOS。该平台不仅继承了 UFO 的强大 GUI 操作能力，还在系统层面进行了深度优化，显著提升了智能体在 Windows 环境下的操作效率与稳定性。

图 - 1：传统 CUAs 和 AgentOS UFO² 对比

UFO²：深度 OS 集成的桌面智能体

UFO² 不是传统意义上的桌面自动化工具，而是一种深度融入操作系统的智能体框架，首次以「AgentOS」理念设计，彻底解决了传统智能体界面交互脆弱、执行中断用户体验等核心问题。

UFO² 引入了多智能体架构：中央的 HostAgent 负责自然语言任务解析与子任务分解，而专属的 AppAgent 则为每个应用程序提供定制化的 API 接入、界面感知与交互能力。两者协同工作，实现了任务的精准分解与灵活执行，并支持跨应用任务，显著提升了系统的可扩展性与执行效率。

具体来说，UFO² 在以下几个核心维度实现了突破，这些维度都充分利用了与 Windows 系统的深度集成：

统一 GUI–API 混合执行

传统 API 执行方式精准高效，但需要针对特定应用实现对应接口，覆盖范围有限；而 GUI 执行方式更加通用灵活，但步骤更长，容易受到界面变动的影响。UFO² 创新地将 API 与 GUI 两种执行范式合二为一，通过统一的 Puppeteer 接口，实现两种执行模式的动态选择。

在实际任务执行中，UFO² 可以智能地根据操作环境与任务特性，自动判断是否优先使用 API 执行来提高速度与精准度，或者在 API 不足以完成任务时，灵活转向 GUI 操作，从而实现效率与通用性的最佳平衡，显著提升任务稳定性和鲁棒性。

图 - 2：GUI-API 操作的混合统一接口

混合控件感知

UFO² 实现了与 Windows 系统的深度融合，通过结合 Windows 原生 UI Automation（UIA）接口与先进视觉识别模型 OmniParser-v2，实现了对界面元素的混合检测与精准感知。这种方式不仅克服了传统视觉识别准确性不足的问题，同时也解决了纯粹依赖系统 API 检测范围有限的瓶颈。

实际应用场景中，尤其是在界面复杂、控件自定义或标准化程度低的场景下，UFO² 的混合感知能力有效提高了控件识别的准确性与覆盖率，从而保障了任务执行的稳定性与鲁棒性。

图 - 3：基于 UIA API 和 OmniParser-v2 的融合控件检测

持续增强的动态知识集成

UFO² 采用检索增强生成（RAG）技术，构建了持续的知识库，动态整合外部应用文档和历史执行日志，使智能体实时获得最新的应用使用方法和最佳实践。这一技术保障了智能体在新功能上线或应用版本升级后能迅速适应变化，维持高效执行。

通过这种方式，UFO² 可实现对复杂任务的精准理解与执行，减少因知识更新不及时导致的操作失败。此外，智能体还能利用历史成功执行的经验，提高任务完成的准确性与效率，真正实现「越用越强」。

图 - 4：动态检索外部应用文档和历史执行日志

高效的推测式多步执行

为有效降低大语言模型（LLM）调用次数，UFO² 创新性地采用了推测式多步预测机制。智能体一次 LLM 调用即可预测多个后续步骤，并通过实时的界面状态校验来逐步执行。这种机制大幅度降低了智能体执行任务时的延迟和计算成本。

实验结果显示，推测式多步执行技术可减少高达 51.5% 的 LLM 调用次数，大幅提升任务执行速度与系统响应能力，使智能体能够更顺畅地完成复杂的任务序列，提升整体效率。

图 - 5：推测式多步执行和验证

无干扰的 PiP 虚拟桌面执行环境

UFO² 引入了创新的画中画（PiP）虚拟桌面技术，通过深度利用 Windows 原生的远程桌面服务，创建了一个轻量级、独立且安全的虚拟桌面环境。所有智能体执行的任务均在此环境中进行，避免了与用户主桌面的任何交互干扰。

用户可以在智能体执行复杂任务的同时，继续进行其他重要的工作，而无需担心智能体任务影响自己的桌面操作。这一设计极大提高了智能自动化的用户接受度与实际使用体验。

图 - 6：UFO² 画中画（PiP）的虚拟执行环境

实践检验：20 + 主流应用测试全方位领先

在严格的基准测试中，UFO² 在超过 20 款主流 Windows 应用（如 Excel、Outlook、Edge 等）中进行了充分验证：

仅采用 GPT-4o, 任务成功率相比业内领先的 OpenAI Operator 提升超过 10%。特别值得强调的是，UFO² 的推测式多步执行技术将大模型调用（LLM call）的频率降低最多达 51.5%，极大提升了任务响应速度和系统效率。

图 - 7：实验结果对比

全面开源，共同推动桌面智能新时代

微软团队已经将 UFO² 的全部代码和详细文档向社区开源，欢迎开发者们加入共建与创新。

开源项目地址：https://github.com/microsoft/UFO （GitHub UFO² 项目）官方文档：https://microsoft.github.io/UFO/（微软 UFO² 官方文档）

UFO² 的发布不仅标志着桌面智能体真正迈入了系统级的「AgentOS 时代」，也为未来智能办公、智能人机交互的发展树立了重要里程碑。通过 UFO²，微软期待与全球开发者共同打造更加智能、稳定、高效的桌面智能生态。

欢迎各界人士关注、使用并反馈，共同推动桌面自动化和智能交互的下一次技术革命。