梦晨 发自 凹非寺

量子位 | 公众号 QbitAI

Windows Copilot正式更新，人人都能免费拥有操作电脑界面的AI助手了。

具体来说是Microsoft 365 Copilot中的Researcher智能体，新增了“计算机使用”（Computer Use）的能力，可以生成更智能的研究、更深入的洞察和更全面的报告。

为什么深度研究智能体需要“计算机使用” ？微软给出几个理由：

• 安全访问需要登录认证的企业内部数据。

• 使用代码生成PPT、表格或APP。

• 私用会议记录、文件、聊天记录等完善工作报告。

具体效果可观看视频演示：

这项更新目前已经在Microsoft 365 Copilot的预览版中上线，可参加Frontier Program测试计划获取。

AI助手从“说”到“做”

不同于以往只能通过API调用特定功能，支撑计算机使用能力的是一系列可由Researcher编排层调用的新工具。

编排层连接到一个沙箱环境，提供每一步操作的截图。

当模型确定需要执行某个操作时，就会启动一个运行在Windows 365上的虚拟机，它托管在云端，与内网和用户设备完全隔离。

虚拟机完全处于临时的沙盒环境中，仅在当前会话期间有效。虚拟机默认已安装浏览器并具备执行模型预测命令所需的所有组件。

智能体的指令通过安全通道发送，任何用户凭据都不会持久保存，也不会在沙盒环境内外传输。

沙盒环境中配备虚拟浏览器、终端和文本浏览器，浏览器和终端界面的输出截图会返回给模型，文本浏览器可以加速纯文本内容的推理和搜索。

所有中间推理步骤都包含屏幕截图、终端界面输出，可以实时查看智能体的操作。

当模型要求用户确认操作或填写密码时，可通过安全的屏幕共享连接来控制沙盒。

性能测试

在GAIA和BrowseComp基准测试 Researcher with Computer Use进行了评估，这些基准测试衡量AI系统在开放网络上进行推理、搜索和综合信息的能力。

在专注于复杂多步骤浏览任务的基准测试BrowseComp中，Researcher with Computer Use的性能比当前版本的 Researcher提升了44% 。以下是其中一个任务示例：

在2010年代末期，一家采用非传统管理结构（设有多个CEO）的公司提供脑外科手术辅助服务。该公司声称是员工持股公司，截至2022年3月尚未在公开市场交易。该公司在其年度报告中披露，董事会在2013财年召开了12次会议。请问该公司董事会在2022年召开了多少次会议？ ”

Researcher将散落在多个网页上的信息拼凑起来，将财务报告、新闻稿和公司文件联系起来，从而得出了一个经过验证的答案。

在衡量人工智能系统在真实世界数据中查找、验证和推理的能力的GAIA测试中，Researcher with Computer Use的性能比当前版本提升了6% 。在GAIA测试中，该模型回答了以下问题：

根据世界银行的数据，在2001年至2010年期间，哪些国家的年度储蓄总额超过GDP的35%？

为了解决这个问题，智能体找到了相关的世界银行数据集，直接通过其终端环境下载了该数据集，并使用Python提取和筛选了数据。

不过微软比较鸡贼的只公布了在两项测试中的成绩提升，但没有公布原成绩具体是多少。

鉴于微软与OpenAI的合作关系，只能参考一下OpenAI DeepResearch在两个测试上的成绩了，比较新的数据来自Qwen。

参考链接：

[1]https://techcommunity.microsoft.com/blog/microsoft365copilotblog/introducing-researcher-with-computer-use-in-microsoft-365-copilot/4464766