太阳成tyc7111cc·(中国)集团官方网站-Macau Bellwether
搜索 猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

微软正式开源UFO²,Windows桌面迈入「AgentOS 时代」

2025-05-10 09:17:19
来源:

猫眼电影

作者:

申评

手机查看

  猫眼电影记者 桑达 报道w3u7903ejky2ywls

本论文第一作者为微软 DKI 团队的 Chaoyun Zhang,其为 Windows 平台首个智能体系统 ——UFO 的核心开发者,该项目已在 GitHub 上开源并获得约 7,000 Stars,在社区中引发广泛关注。同时,他也是一篇超过 90 页的 GUI Agent 综述文章的主要撰写者,系统梳理了该领域的关键进展与技术框架。其余项目的主要贡献者亦均来自微软 DKI 团队,具备深厚的研究与工程背景。

论文标题:UFO²: The Desktop AgentOS论文地址:https://arxiv.org/abs/2504.14603开源代码:https://github.com/microsoft/UFO/项目文档:https://microsoft.github.io/UFO/

近年来,图形用户界面(GUI)自动化技术正在逐步改变人机交互和办公自动化的生态。然而,以 Robotic Process Automation(RPA)为代表的传统自动化工具通常依赖固定脚本进行操作,存在界面变化敏感、维护成本高昂、用户体验欠佳等明显问题。

同时,近年来兴起的基于大型语言模型(LLM)的计算机智能体(Computer-Using Agents,CUA)虽然展现出灵活的自动化潜力,但多数方案仍停留在概念验证或原型阶段,缺乏与操作系统深度集成的能力,制约了其在实际工作环境中的规模化应用。

针对这些行业痛点,作为前代纯 GUI 桌面智能体 UFO 的全面升级版,微软研究团队近日正式开源了业内首个深度集成 Windows 操作系统的桌面智能体平台 ——UFO² AgentOS。该平台不仅继承了 UFO 的强大 GUI 操作能力,还在系统层面进行了深度优化,显著提升了智能体在 Windows 环境下的操作效率与稳定性。

图 - 1:传统 CUAs 和 AgentOS UFO² 对比

UFO²:深度 OS 集成的桌面智能体

UFO² 不是传统意义上的桌面自动化工具,而是一种深度融入操作系统的智能体框架,首次以「AgentOS」理念设计,彻底解决了传统智能体界面交互脆弱、执行中断用户体验等核心问题。

UFO² 引入了多智能体架构:中央的 HostAgent 负责自然语言任务解析与子任务分解,而专属的 AppAgent 则为每个应用程序提供定制化的 API 接入、界面感知与交互能力。两者协同工作,实现了任务的精准分解与灵活执行,并支持跨应用任务,显著提升了系统的可扩展性与执行效率。

具体来说,UFO² 在以下几个核心维度实现了突破,这些维度都充分利用了与 Windows 系统的深度集成:

统一 GUI–API 混合执行

传统 API 执行方式精准高效,但需要针对特定应用实现对应接口,覆盖范围有限;而 GUI 执行方式更加通用灵活,但步骤更长,容易受到界面变动的影响。UFO² 创新地将 API 与 GUI 两种执行范式合二为一,通过统一的 Puppeteer 接口,实现两种执行模式的动态选择。

在实际任务执行中,UFO² 可以智能地根据操作环境与任务特性,自动判断是否优先使用 API 执行来提高速度与精准度,或者在 API 不足以完成任务时,灵活转向 GUI 操作,从而实现效率与通用性的最佳平衡,显著提升任务稳定性和鲁棒性。

图 - 2:GUI-API 操作的混合统一接口

混合控件感知

UFO² 实现了与 Windows 系统的深度融合,通过结合 Windows 原生 UI Automation(UIA)接口与先进视觉识别模型 OmniParser-v2,实现了对界面元素的混合检测与精准感知。这种方式不仅克服了传统视觉识别准确性不足的问题,同时也解决了纯粹依赖系统 API 检测范围有限的瓶颈。

实际应用场景中,尤其是在界面复杂、控件自定义或标准化程度低的场景下,UFO² 的混合感知能力有效提高了控件识别的准确性与覆盖率,从而保障了任务执行的稳定性与鲁棒性。

图 - 3:基于 UIA API 和 OmniParser-v2 的融合控件检测

持续增强的动态知识集成

UFO² 采用检索增强生成(RAG)技术,构建了持续的知识库,动态整合外部应用文档和历史执行日志,使智能体实时获得最新的应用使用方法和最佳实践。这一技术保障了智能体在新功能上线或应用版本升级后能迅速适应变化,维持高效执行。

通过这种方式,UFO² 可实现对复杂任务的精准理解与执行,减少因知识更新不及时导致的操作失败。此外,智能体还能利用历史成功执行的经验,提高任务完成的准确性与效率,真正实现「越用越强」。

图 - 4:动态检索外部应用文档和历史执行日志

高效的推测式多步执行

为有效降低大语言模型(LLM)调用次数,UFO² 创新性地采用了推测式多步预测机制。智能体一次 LLM 调用即可预测多个后续步骤,并通过实时的界面状态校验来逐步执行。这种机制大幅度降低了智能体执行任务时的延迟和计算成本。

实验结果显示,推测式多步执行技术可减少高达 51.5% 的 LLM 调用次数,大幅提升任务执行速度与系统响应能力,使智能体能够更顺畅地完成复杂的任务序列,提升整体效率。

图 - 5:推测式多步执行和验证

无干扰的 PiP 虚拟桌面执行环境

UFO² 引入了创新的画中画(PiP)虚拟桌面技术,通过深度利用 Windows 原生的远程桌面服务,创建了一个轻量级、独立且安全的虚拟桌面环境。所有智能体执行的任务均在此环境中进行,避免了与用户主桌面的任何交互干扰。

用户可以在智能体执行复杂任务的同时,继续进行其他重要的工作,而无需担心智能体任务影响自己的桌面操作。这一设计极大提高了智能自动化的用户接受度与实际使用体验。

图 - 6:UFO² 画中画(PiP)的虚拟执行环境

实践检验:20 + 主流应用测试全方位领先

在严格的基准测试中,UFO² 在超过 20 款主流 Windows 应用(如 Excel、Outlook、Edge 等)中进行了充分验证:

仅采用 GPT-4o, 任务成功率相比业内领先的 OpenAI Operator 提升超过 10%。特别值得强调的是,UFO² 的推测式多步执行技术将大模型调用(LLM call)的频率降低最多达 51.5%,极大提升了任务响应速度和系统效率。

图 - 7:实验结果对比

全面开源,共同推动桌面智能新时代

微软团队已经将 UFO² 的全部代码和详细文档向社区开源,欢迎开发者们加入共建与创新。

开源项目地址:https://github.com/microsoft/UFO (GitHub UFO² 项目)官方文档:https://microsoft.github.io/UFO/(微软 UFO² 官方文档)

UFO² 的发布不仅标志着桌面智能体真正迈入了系统级的「AgentOS 时代」,也为未来智能办公、智能人机交互的发展树立了重要里程碑。通过 UFO²,微软期待与全球开发者共同打造更加智能、稳定、高效的桌面智能生态。

欢迎各界人士关注、使用并反馈,共同推动桌面自动化和智能交互的下一次技术革命。

 时事1:娜美被爆❌自慰爽naruto

  05月10日,受雨雪冰冻天气影响 明天郑州局管内多趟列车停运,

  今天来参加培训的都是新一届村居干部,既然大多数群众相信你们,把你们选到村居干部的位置,你们就要尽心尽责,对广大群众负责,积极认真地做好村居的各项工作。下面我强调几点希望和要求。

,yaoi男男❤♂R18动漫网站。

  05月10日,国泰航空首批内地空乘开始执勤,

  最后,祝大家培训期间生活愉快!祝培训学习圆满成功!

,艾莎被扒开双腿疯狂输出小说,国产做受❌❌❌视频,all怪盗基德。

 时事2:女被黄漫扒衣服自慰

  05月10日,哈尔滨机场一月运送旅客229万人次创新高,

  第一,做好以文辅政,充分发挥好参谋助手作用。 党委的权威和形象,很大程度上取决于党委的决策水平,而党委做决策的重要途径之一就是靠党委办公室的“以文辅政”。因此,党委办公室的参谋作用发挥得怎么样,参谋水平高不高,直接关系到党委的决策水平。从这个意义上说,发挥好参谋助手作用,帮助党委作出重大决策,是党委系统办公室的首要任务。目前,我市经济社会发展总体思路已经确定,但各项工作还需要各地、各部门具体地研究和落实,党委办公室就要主动承担起这方面的职责。要发挥好“大脑”作用,围绕市委和各地党委的中心工作,想大事、谋全局、抓调研、报信息、献良策、支高招、当高参,为党委科学决策提供智力支持。调查研究要体现“六性”,即战略性、前瞻性、实效性、实践性、思想性、针对性。要通过深入调研,努力形成一批高质量的调研成果,进入党委决策视野;要发挥好“耳目”作用,要按照“第一手情况”、“第一道研判”、“第一时间报送”的要求抓好信息工作,为党委决策提供信息依据。这里强调要强化舆情信息的报送工作,要认真落实紧急信息报送责任,加大通报和问责力度,确保重要紧急信息以最快速度上报;要发挥好助手作用,帮助党委改进和修正决策,确保各项工作有条不紊地推进。

,3d同人动漫免费看,日本❌裸体❌巨乳,XXNX👙21。

  05月10日,走进“首都桃花源”!到北京平谷体验慢生活,

  俗话说:“可怜天下父母心”,在这激烈竞争的社会,每个家长都希望子女能够出人头地,但苦于缺乏科学有效的教学方法,在教育孩子方面仍存在一定的盲目性,我也当过20多年的教师,也是孩子的父亲,在开家长会的之前,我曾了解过调查大多数孩子都有这样的心事:“家长对我提出的要求太高太严,我做不到,他们总拿我和别的孩子比。”听了这些孩子的话,家长应更多地了解孩子,理解孩子,尊重孩子,我认为教育子女要做到以下几点:

,女人与动物交配一区2区三区四区,JapaneseXXXJapanVideoXXX,Free❌㐅❌性HD另类。

 时事3:内衣办公室1~3樱花动漫

  05月10日,中方:已就美国再次更新半导体出口管制规则提出严正交涉,

  xx年工作任务重,压力大已经是事实,我们不能怨天尤人,必须树立战胜困难的信心,机修厂在新一年的工作中,按照董事长提出的“八大坚持”理念,不断完善管理,开拓创新,努力完成矿上下达的500万元利润的目标!

,性欧美乱束缚XXXX白浆,八重神子露双乳求调教,白丝修女被❌到忏悔的漫画。

  05月10日,重庆轨道交通15号线二期工程全面进入铺轨阶段,

  村人都一怔,显然柳神对小不点另眼相看,为了他竟说了这么多的话,比过去数十年加起来都要多。

,Free❌❌❌国产天美MDX,亚洲丫丫影视🐔品,啊高潮了伸进来吧。

 时事4:变态撕开内衣👙吸屁股

  05月10日,中国最高法:强奸未成年人的三名罪犯被依法执行死刑,

  “那好吧,让我们开启通天之旅。”柳树传音,声音虽柔和与平静,但却也有一种威严,五根柳条猛的暴涨,化成璀璨的秩序神链,逆冲向天。

,铃木一彻silk074观看,여자ㅈㅇ전문日本ポルノビデオ,初音未来裸体被❌到爽。

  05月10日,200名滑雪爱好者塞北小城乐享冰雪“速度与激情”,

  今后,高中二年,甚至你们的一生,你们每一个同学的名字将要同高一4班这个班集体联系在一起,你们人生中最为重要的一段历史将要在这个班级中书写,你个人,你所在的这个班级是伟大还是渺小,是辉煌还是一般,都要靠你们去塑造,因为我们每个同学每个班级都处在同一个起跑线上。

,巜少妇的性放荡HD在线观看,嘘别告诉妈妈,14岁初中女生光溜溜电影。

责编:拉克鲁瓦

审核:王双怀

责编:张大妈

相关推荐 换一换