太阳成tyc7111cc·(中国)集团官方网站-Macau Bellwether
搜索 猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

微软正式开源UFO²,Windows桌面迈入「AgentOS 时代」

2025-05-12 19:58:21
来源:

猫眼电影

作者:

雅各布·比恩

手机查看

  猫眼电影记者 万长胜 报道w3u7903ejky2ywls

本论文第一作者为微软 DKI 团队的 Chaoyun Zhang,其为 Windows 平台首个智能体系统 ——UFO 的核心开发者,该项目已在 GitHub 上开源并获得约 7,000 Stars,在社区中引发广泛关注。同时,他也是一篇超过 90 页的 GUI Agent 综述文章的主要撰写者,系统梳理了该领域的关键进展与技术框架。其余项目的主要贡献者亦均来自微软 DKI 团队,具备深厚的研究与工程背景。

论文标题:UFO²: The Desktop AgentOS论文地址:https://arxiv.org/abs/2504.14603开源代码:https://github.com/microsoft/UFO/项目文档:https://microsoft.github.io/UFO/

近年来,图形用户界面(GUI)自动化技术正在逐步改变人机交互和办公自动化的生态。然而,以 Robotic Process Automation(RPA)为代表的传统自动化工具通常依赖固定脚本进行操作,存在界面变化敏感、维护成本高昂、用户体验欠佳等明显问题。

同时,近年来兴起的基于大型语言模型(LLM)的计算机智能体(Computer-Using Agents,CUA)虽然展现出灵活的自动化潜力,但多数方案仍停留在概念验证或原型阶段,缺乏与操作系统深度集成的能力,制约了其在实际工作环境中的规模化应用。

针对这些行业痛点,作为前代纯 GUI 桌面智能体 UFO 的全面升级版,微软研究团队近日正式开源了业内首个深度集成 Windows 操作系统的桌面智能体平台 ——UFO² AgentOS。该平台不仅继承了 UFO 的强大 GUI 操作能力,还在系统层面进行了深度优化,显著提升了智能体在 Windows 环境下的操作效率与稳定性。

图 - 1:传统 CUAs 和 AgentOS UFO² 对比

UFO²:深度 OS 集成的桌面智能体

UFO² 不是传统意义上的桌面自动化工具,而是一种深度融入操作系统的智能体框架,首次以「AgentOS」理念设计,彻底解决了传统智能体界面交互脆弱、执行中断用户体验等核心问题。

UFO² 引入了多智能体架构:中央的 HostAgent 负责自然语言任务解析与子任务分解,而专属的 AppAgent 则为每个应用程序提供定制化的 API 接入、界面感知与交互能力。两者协同工作,实现了任务的精准分解与灵活执行,并支持跨应用任务,显著提升了系统的可扩展性与执行效率。

具体来说,UFO² 在以下几个核心维度实现了突破,这些维度都充分利用了与 Windows 系统的深度集成:

统一 GUI–API 混合执行

传统 API 执行方式精准高效,但需要针对特定应用实现对应接口,覆盖范围有限;而 GUI 执行方式更加通用灵活,但步骤更长,容易受到界面变动的影响。UFO² 创新地将 API 与 GUI 两种执行范式合二为一,通过统一的 Puppeteer 接口,实现两种执行模式的动态选择。

在实际任务执行中,UFO² 可以智能地根据操作环境与任务特性,自动判断是否优先使用 API 执行来提高速度与精准度,或者在 API 不足以完成任务时,灵活转向 GUI 操作,从而实现效率与通用性的最佳平衡,显著提升任务稳定性和鲁棒性。

图 - 2:GUI-API 操作的混合统一接口

混合控件感知

UFO² 实现了与 Windows 系统的深度融合,通过结合 Windows 原生 UI Automation(UIA)接口与先进视觉识别模型 OmniParser-v2,实现了对界面元素的混合检测与精准感知。这种方式不仅克服了传统视觉识别准确性不足的问题,同时也解决了纯粹依赖系统 API 检测范围有限的瓶颈。

实际应用场景中,尤其是在界面复杂、控件自定义或标准化程度低的场景下,UFO² 的混合感知能力有效提高了控件识别的准确性与覆盖率,从而保障了任务执行的稳定性与鲁棒性。

图 - 3:基于 UIA API 和 OmniParser-v2 的融合控件检测

持续增强的动态知识集成

UFO² 采用检索增强生成(RAG)技术,构建了持续的知识库,动态整合外部应用文档和历史执行日志,使智能体实时获得最新的应用使用方法和最佳实践。这一技术保障了智能体在新功能上线或应用版本升级后能迅速适应变化,维持高效执行。

通过这种方式,UFO² 可实现对复杂任务的精准理解与执行,减少因知识更新不及时导致的操作失败。此外,智能体还能利用历史成功执行的经验,提高任务完成的准确性与效率,真正实现「越用越强」。

图 - 4:动态检索外部应用文档和历史执行日志

高效的推测式多步执行

为有效降低大语言模型(LLM)调用次数,UFO² 创新性地采用了推测式多步预测机制。智能体一次 LLM 调用即可预测多个后续步骤,并通过实时的界面状态校验来逐步执行。这种机制大幅度降低了智能体执行任务时的延迟和计算成本。

实验结果显示,推测式多步执行技术可减少高达 51.5% 的 LLM 调用次数,大幅提升任务执行速度与系统响应能力,使智能体能够更顺畅地完成复杂的任务序列,提升整体效率。

图 - 5:推测式多步执行和验证

无干扰的 PiP 虚拟桌面执行环境

UFO² 引入了创新的画中画(PiP)虚拟桌面技术,通过深度利用 Windows 原生的远程桌面服务,创建了一个轻量级、独立且安全的虚拟桌面环境。所有智能体执行的任务均在此环境中进行,避免了与用户主桌面的任何交互干扰。

用户可以在智能体执行复杂任务的同时,继续进行其他重要的工作,而无需担心智能体任务影响自己的桌面操作。这一设计极大提高了智能自动化的用户接受度与实际使用体验。

图 - 6:UFO² 画中画(PiP)的虚拟执行环境

实践检验:20 + 主流应用测试全方位领先

在严格的基准测试中,UFO² 在超过 20 款主流 Windows 应用(如 Excel、Outlook、Edge 等)中进行了充分验证:

仅采用 GPT-4o, 任务成功率相比业内领先的 OpenAI Operator 提升超过 10%。特别值得强调的是,UFO² 的推测式多步执行技术将大模型调用(LLM call)的频率降低最多达 51.5%,极大提升了任务响应速度和系统效率。

图 - 7:实验结果对比

全面开源,共同推动桌面智能新时代

微软团队已经将 UFO² 的全部代码和详细文档向社区开源,欢迎开发者们加入共建与创新。

开源项目地址:https://github.com/microsoft/UFO (GitHub UFO² 项目)官方文档:https://microsoft.github.io/UFO/(微软 UFO² 官方文档)

UFO² 的发布不仅标志着桌面智能体真正迈入了系统级的「AgentOS 时代」,也为未来智能办公、智能人机交互的发展树立了重要里程碑。通过 UFO²,微软期待与全球开发者共同打造更加智能、稳定、高效的桌面智能生态。

欢迎各界人士关注、使用并反馈,共同推动桌面自动化和智能交互的下一次技术革命。

 时事1:9人妻偷拍熟女网站

  05月12日,贵州铜仁追“新”逐“绿”正当时,

  狻猊恐惧了,不断的颤抖,而后被瓦解,黑鼎将其炼化成一道道金色的神性光束,没入鼎内的金色浆液中。

,gl百合高潮肉片无码。

  05月12日,拜登与特朗普在白宫会面 握手致意,

  “今天你以学校为荣,明日学校以你为荣”, 在离开母校的时刻,我希望欢迎同学们常回家看看,学校的大门永远向你们敞开,最后,让我们共同放飞理想、播种希望,收获未来,祝全体师生,快乐幸福过好每一天。谢谢

,情侣内裤纯欲,18🈲黑料网爆在线观看,自慰帮老师解开蕾丝奶罩吸乳。

 时事2:女明星刘涛一级毛片中国护士

  05月12日,2024亚洲种子大会在三亚举办 促进种业国际贸易交流,

  青鳞鹰摇晃,接住了坠落下来的小不点,而后摇摆着,一头扎向山林中,砰的一声砸在了那里。

,性农村XXXXX小树林,莎莉娜裸身被❌羞羞小说,大尺度无码禁播电影网站看。

  05月12日,南水北调“穿黄而过” 南来的江水如何“喝”“存”“补”?,

  这就是真正的现状,生存环境恶劣,遍地都是洪荒猛兽,凶禽遮天,毒虫藏于山林,想要活下去,需要不断地抗争、挣扎。

,▇蕾丝视频▇在线观看免费,欧洲交,爱情岛论坛亚洲首页入口章节。

 时事3:胡桃狂揉❌下部❌难受

  05月12日,国家药监局决定成立化妆品标准化技术委员会,

  故此,他们多年的修行与积淀渐渐爆发了出来。石林虎与石飞蛟晋升入搬血境,而且境界不低,修为深厚。

,樱桃免费版在线观看电视剧荣耀,妲己好大⋯好爽⋯裙子湿透了,足控免费视频。

  05月12日,大小莲花奥体中心全民健身场地再次开放 还馆于民,

  共性的有:言行不得体,讲粗口脏话,不懂得尊重他人;迟到、旷课、逃课,以自我为中心,不会尊重他人,不会礼让,自私自利,不关心集体;随地吐痰、乱扔垃圾,缺乏环保意识;观看和传播书刊、声像等不良制品;抄袭作业,考试作弊;吃带皮的食物不注意公共卫生,随意扔垃圾;还有个别同学抽烟、喝酒,私自外出上网聊天、玩游戏

,性亂倫XXXX乱大交女3视频,学生精品videosex极品,扒开老师❌狂揉❌小说。

 时事4:被老师粗大jib捣出了白浆受

  05月12日,川航飞机右侧引擎起火,为何盘旋16圈才降落?专家解读,

  “咦,又一口!”小不点惊讶,难道柳神所说的厚积薄发是这样?他还以为是“洞天”深邃,蓬勃精气如海,原来达到了更高的层次。

,少妇裸交全过程,Naruto❌sarada18禁无尽,云璃被扒开腿坐做❌图片。

  05月12日,第十七届“香港杯”外交知识竞赛在港启动,

  一是加快城乡规划编制步伐。我县县城总体规划已编制完成,下步要根据城镇化发展的需要,进一步调整完善县域城镇体系规划,优化城镇布局。今年规划工作要突出抓好中心城市规划区建设和村镇规划建设两个重点。围绕中心城区规划建设,要着力做好8项新区开发项目、3项老城改造项目、8项道路工程项目以及水系项目、主要道路改造项目等项目的规划编制工作,以上项目规划原则要求3月底前完成编制任务;已经编制完成的项目,要抓紧组织评审,积极付诸实施。围绕村镇规划建设,要着力抓好乡镇总体规划修编和新农村试点村规划建设。今年要抓紧进行新一轮规划编制与修编工作,去年未进行规划修编的7个乡镇,年底前必须完成规划编制的评审与报批工作。各乡镇在组织编制总体规划的同时,要结合实际,认真做好辖区公路沿线控制性详细规划,并与镇域体系和土地利用总体规划相衔接。要科学指导新农村试点村规划建设工作,每个乡镇积极培育2—3个集镇或村庄样板,以点带面,逐步铺开。今年各乡镇的规划统一由县规划部门组织实施,各乡镇要抽调专人,积极配合,确保全面实现建设新农村目标。二是提高规划设计水平。要坚持以人为本、突出特色、注重品位的原则,对城区重要地段、重要节点、标志性建筑的规划设计优中选优,严格把关,切实解决千城一面、千街一面的问题。各乡镇要根据各自资源秉赋、特色优势、历史文化、风土人情和集镇风貌确立独特的建设风格,着力塑造各具特色的城镇形象。要坚持同步规划、配套建设,搞好城镇供水、排水、燃气、供电、电信、有线电视等各类管网的综合布局,克服“重地上、轻地下”的思想,坚决杜绝“今天建、明天挖”的浪费现象,防止各种盲目建设、重复建设。三是加强规划统一管理。要明确规划实施的主体和责任,严格规划管理,维护规划的权威性、严肃性。今年除列入国家、省批准的重点建设项目,利于县域发展急建的项目,以及临街影响市容而符合规划要求需要翻建项目和已基本建成小区需填平补齐的新建项目以外,其它任何用地和建设项目,所涉及乡(镇)、村、组不得审核盖章和收取任何费用,规划部门不得发放“一书两证”等手续,发展改革部门不予立项,土地部门不得受理用地申请,建设部门不得发放开工手续,有关商业银行不得提供建设资金贷款。严禁任何单位以职工集资等理由,在原划拨土地上进行房地产开发,杜绝任何个人非法进行房地产开发活动。对在建工程和已办理规划用地手续的单位及个人,由县规划和土地部门对所持手续进行审查,经审查合格的,集中报县政府审批,经审查不合格的,手续一律废止。审查期间,在建项目一律停建。要进一步加大规划监察力度,严厉查处各类违法建设,今年要继续加强对城市规划区用地和县内主干道两侧用地的监控管理,加大查处力度,这里需要指出的是,下步根据省市有关精神,县政府要重点对省道两侧规划控制区内的粘土砖瓦窑厂进行全面治理整顿,实行所在地乡镇政府组织实施、相关部门联手整治的办法,推进工作落实,确保规范有序建设。

,韩版少女内裤200斤,挤奶+玩弄+跪趴+调教女女,桃子冰♈熟女。

责编:黄汉河

审核:胡寅

责编:朱家臣

相关推荐 换一换