来也科技OpenAPA框架刷新OSWorld纪录并开源
创始人
2026-05-09 10:32:03

2026-05-08 15:44:19 作者:狼叫兽

近日,来也科技 OpenAPA框架在 Computer Use Agent 计算机操控智能体的权威基准 OSWorld上取得 78.3%的成绩,在 Agentic Framework这一技术路线上位列全球第一。

OSWorld 是什么?Computer Use Agent 界的“高考”

如果说大语言模型的能力可以用 MMLU、GSM8K 这些考试衡量,那么AI 是否能像人一样操作电脑,标尺就是 OSWorld。这个由 HKUNLP、CMU、Waterloo 等顶尖机构联合发布的基准,已成为全球评估计算机操作智能体 的黄金标准——OpenAI、Anthropic、Google 发布最新模型时,均以 OSWorld 作为官方标尺。

OSWorld的“权威性”来自三点:

· 真实环境:在真实的 Ubuntu 和 Windows 系统中,用真实的 Chrome、VS Code、LibreOffice、Thunderbird 等应用完成任务,不是仿真、不是沙盒简化版

· 真实任务:361 个由人类专家精心设计的任务,覆盖办公、编程、浏览、设计、系统管理等日常工作场景

· 客观评分:每个任务都配有可执行的验证脚本,Agent 是否真正完成,由机器自动判定,不靠人工评价

让我们看一个来自 OSWorld 的真实任务:

一个熟练的办公人员完成它也需要不少时间。而对 Agent 来说,这个任务的难度至少体现在两点:

· 超过 60 步的连续操作:从打开邮件客户端、定位邮件、下载附件、查看已有文件命名、按规则重命名,到打开账本、找到正确的 sheet 和行列、按既有格式填写——任何一步出错都会连锁失败

· 全过程需要推理与判断:Agent 必须看懂账单的内容,总结已有 PDF 文件的命名规律,理解账本 Excel 中行、列及格式,而不是按照预设脚本机械执行

这只是 361 个任务中的一个。每一个百分点的提升,背后都是工程与算法的硬仗。

两条技术路线,OpenAPA 在其中一条上站到了最前面

要准确理解 OpenAPA 的成绩,需要先区分 OSWorld 上的两条主流技术路线:

· 专用模型(Specialized Model)路线:通过在 GUI 操作数据上做大规模后训练,得到“会操作计算机”的专用大模型,再搭配相对轻量的执行层

· 通用模型 + Agentic Framework 路线:使用通用大模型(如 Gemini、Claude、GPT),依靠框架设计、规划能力、多 Agent 协作、上下文工程等架构和工程创新驱动任务完成

两条路线各有所长:专用模型对特定能力更“熟练”,通用框架则具备更强的可迁移性、可组合性和可控性——同一套框架可以随着底层大模型的进步自动受益,也更适合企业根据自身业务与合规要求灵活调整框架。

OpenAPA 走的正是第二条路线,并在这条路线上以 78.3% 的成绩取得了全球第一。这意味着,在不依赖专门训练模型的前提下,仅通过架构与工程创新,Agent 框架+通用模型也能达到世界级的水平。

OpenAPA 的几个关键创新

仅靠“通用模型 + Agent 框架”,OpenAPA 为什么能在 OSWorld 上跑出全球领先的成绩?答案藏在它的架构设计里:

· 分层规划 + 动态反思:初始规划只定义“做什么”,不预先锁死“怎么做”;反思模块每一步基于最新截图重新校准,有效抑制长程任务中的“越走越偏”。

· Coding Agent 和 GUI Agent 协作:Coding Agent 负责数值计算、数据清洗、文件解析等“程序化”工作,GUI Agent 专注视觉理解和执行,两者之间相互验证、共享知识,兼顾效率与鲁棒性。

· 面向长程任务的上下文工程:通过滑动窗口 + Token 预算机制,动态保留最近的关键截图与推理轨迹,让 100 步级别的长任务稳定运行,Token 消耗降低 60% 以上。

· 推理与定位双模型解耦:主推理模型负责任务理解与决策,专用视觉模型负责像素级坐标定位。“思考”和“看”各司其职,避免单一模型兼顾两头但都做不到极致。

这些设计指向同一个目标:让“通用模型 + 通用框架”,在真实世界的复杂任务中跑出专用系统才具备的可靠性。后续我们将有文章展开介绍 OpenAPA 的架构设计理念。

从 RPA 到 APA,再到 OpenAPA

企业级流程自动化,正在经历一条清晰的演进路径。

来也科技最近将 RPA 升级为 APA(Agentic Process Automation,智能体流程自动化),通过将智能体能力融入流程自动化的开发、执行、维护全生命周期,让企业级自动化变得更智能、更灵活、也更容易落地——过去需要 IT 团队反复配置与维护的流程,如今可以由智能体基于目标自主完成,大幅降低了部署与变更的门槛。

而 OpenAPA 在 OSWorld 上探索的,是 APA 未来演进的下一条关键路径——以 Computer Use Agent 为核心的“视觉驱动、语义理解、自主规划、自我修复”范式,它不依赖固定的接口或脚本,而是像人一样“看屏幕、做判断、执行操作”,这将为 APA 带来了更强的界面理解、任务规划和流程自愈能力。

来也科技已连续五年作为中国唯一厂商入选 Gartner 机器人流程自动化(RPA)魔力象限,同时也是中国唯一入选 Gartner 智能文档处理(IDP)魔力象限和企业级对话式 AI 平台魔力象限的厂商。来也科技已经通过 APA 证明了“智能体 × 流程自动化”的工程化价值,而 OpenAPA 则在更前沿的方向上,为未来的 APA 产品持续注入更灵活、更智能的能力输入。两者共同构成了来也科技对“下一代企业级自动化”的判断与投入。

开源即刻可用

当 AI 学会看屏幕,企业流程自动化将不再止步于“按规则执行”,而是走向“按目标自主完成”——来也科技愿意在这条演进之路上,作为持续的推动者和同行者。

Computer Use Agent 的发展还在早期,因此我们将 OpenAPA 开源,期待更多社区开发者和我们一起共同探索,共同成长,共同推进 Computer Use Agent 技术的发展:

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

买蓝牙耳机别只盯着降噪和续航:... 一、先定形态,再谈参数蓝牙耳机按佩戴方式大致分三类。入耳式用硅胶耳塞堵住耳道,物理隔音和降噪效果最明...
上门修家电别只听口头报价:看清... 家里空调不制热、洗衣机不脱水,网上一搜就有人上门。可不少人发现,报修时说好的几十块,结账时变成几百块...
叫代驾别在路边随便拦:散代驾风... 聚会喝了酒把车交给代驾本是件稳妥的事。可同样是代驾,走平台下单和在路边随手拦一个,出问题的结果可能完...
带孩子坐火车别再按身高买票:儿... 一、儿童票现在看年龄,不看身高带孩子坐火车,不少家长还在让孩子站着量身高。现在的规则不看身高看年龄:...
揭秘,3800万隆服务费没效果... 揭秘,3800万隆服务费没效果,升级服务才是真,一招教你轻松退费!  广州万隆证券服务费是可以退的。...
北京天相财富是陷阱,交费荐股只... 北京天相财富收取股民服务费没效果会员费能退回来?北京天相财富并不靠谱,在北京天相财富业务员的诱导下购...
手把手教你退,上海亚商实战班不... 手把手教你退,上海亚商实战班不可信,交的29800能退吗?答案是:可以退款那些疯狂拉群洗脑的营销模式...
一招教你轻松退费!和讯投资交费... 和讯投资退款流程公布!误导性宣传!别再当冤大头!怎么退还服务费?会员费是可以退的!股民交会员费根本就...
杭州高能内部会员不可信,老师夸... 杭州高能内部会员不可信,老师夸大实力,一招教你轻松退费! 在跟高能智投有限公司合作后,作为高能智投的...
海能能退回交的服务费吗?答案是... 海能能退回交的服务费吗?答案是:可以退款,流程公布!“交了两万六的投顾服务费,换来的却是‘买入即亏’...
汇正领航家原价158000优惠... 汇正领航家原价158000优惠68000,是陷阱,大家不要在上当了! 核心问题直击:汇正财经服务费能...
北京和众汇富虚假营销,交的服务... 和众汇富投顾交了服务费可以退吗?揭秘荐股内幕!亏损惨重背后真相曝光!不少投资者在与和众汇富合作后,因...
轻松退费,爱荐股只亏不赚!正规... 轻松退费,爱荐股只亏不赚!正规吗可靠吗?一招教你轻松退费!啊核心答案:符合条件可全额退回! 若你在湖...
揭晓慧研智投收费荐股内幕,交的... 揭晓慧研智投收费荐股内幕,交的服务费怎么退?退费流程我来告诉你!您是否在慧研智投遭遇虚假宣传诱导交费...
曝光财富在线诱导交费,吹嘘实力... 那些疯狂拉群洗脑的营销模式,浮夸的收益数据,还有一个个不靠谱的“证券专家”,处理投诉和恶评的风控团队...
手把手教你退杭州顶点财经服务费... 顶点财经服务费是可以退的。如果认为顶点财经存在违规操作或欺诈行为,可以通过有效的退款流程来中请退回服...
最新退费消息,上海凯石荐股服务... 最新退费消息,上海凯石荐股服务费轻松退回,手把手教你 困扰股民的几个关于上海凯石证券的问题: 1...
手把手教你看清投顾公司内幕,港... 手把手教你看清投顾公司内幕,港澳资讯炒股费可以退吗?退费不再难!海南港澳资讯老师不可信!加入内部会员...
水费突然变高别只怪涨价:阶梯水... 一、水费单上的钱不只是"水"的钱到户水价一般由自来水费、污水处理费、水资源费或水资源税构成,其中污水...
湖南金证2999金点股有效果吗... 湖南金证2999金点股有效果吗?老师不可信!一招教你轻松退费! 股市行情持续低迷,给人的感觉就像是...
上海汇 正不可信,交的2980... 上海汇 正不可信,交的29800能退吗?答案是:可以退款汇 正财经服务费能退。汇 正财经服务费518...
顶点摇钱树9800产品怎么样?... 顶点财经服务费可以退款吗?可以退!有法可依维权可退!退款流程详解及注意事项公布!顶点财经服务费是可以...
同花顺金融大师好用吗?不靠谱,... 同花顺金融大师好用吗?不靠谱,交的服务费怎么退?答案是:可以能退费!在监管的灰色边缘,众多投资顾问依...
慧研智投老师不可信!交的服务费... 慧研智投老师不可信!交的服务费怎么退?退费流程我来告诉你!慧 研智投确实是一家正规的投顾公司。但这并...
指南针软件靠谱吗?在金融市场的... 在金融市场的浩瀚海洋中,股票不仅是投资者深思熟虑后锁定的价值探索领域,更是他们寄托财富增长梦想的灯塔...