AI帮你写VR代码,Meta发布沉浸式网页SDK智能体工作流
创始人
2026-04-12 20:27:07

想法即体验

映维网Nweon 2026年04月11日)Meta曾在Connect 2025大会发布了用于在网页端构建VR应用的开源框架Immersive Web SDK(IWSDK)。它旨在处理VR开发中的棘手环节(物理模拟、手部追踪、抓取交互、移动方式和空间UI),以便你能专注于创意和想法本身。

现在,团队推出了与IWSDK完全集成的智能体工作流,以帮助你进一步加速VR开发。AI会与你并肩编写代码、测试交互并修复错误。开发者、游戏设计师、美术或其他任何人都可以在AI编码工具中打开IWSDK项目,将想法直接转化为可运行的VR体验,无需亲自编写代码,甚至不需要头戴设备。

为了测试IWSDK结合智能体工作流的效能,团队重新审视了旗下一款展示级WebXR应用:Project Flowerbed。这款沉浸式的VR园艺体验在发布时备受用户喜爱并启发了众多开发者。

原始代码需要编写数万行定制逻辑,但使用智能体工作流,团队利用Project Flowerbed现有的创意资产,从头开始重建了应用代码库,仅仅耗时15小时。这可不是修改拼写错误或生成模板代码那么简单。这是一个完整的、可交互的网页VR体验,是由AI利用IWSDK重建而成。

为何要在网页端构建VR?

WebXR允许你一次性将内容分发至桌面端和所有VR设备,用户只需点击链接即可立即访问你的体验。无需应用商店,无需下载。仅在Meta Quest平台,平均每月就有一百万用户参与WebXR体验。

网页端同时特别适合AI辅助开发。没有冗长的编译步骤,AI可以编写代码、重新加载并即时查看结果,在无需你干预的情况下进行多次迭代循环。这使得网页端成为绝佳的起点,尤其对于VR开发新手而言。

智能体循环

在实践中,智能体工作流意味着AI所做的不仅仅是生成代码,它还会测试和验证代码。这种闭环系统对于获得高质量、可靠的结果至关重要。IWSDK的AI集成彻底闭合了这一循环,为开发者提供了极致的生产力。

IWSDK可与你喜爱的AI编码助手配合使用,包括Claude Code、Cursor、GitHub Copilot、Codex及其他工具。利用它们,开发者可以通过完整的智能体循环使用IWSDK构建高质量的VR体验。

  • 知识渊博的代码生成:智能体能够访问和遍历完整的IWSDK文档和代码库,能生成遵循框架模式与最佳实践的高质量代码。
  • -场景理解与测试:智能体会截取VR场景的屏幕截图,并理解每个物体的位置、摆放和命名规则,从而做出明智的决策。除了理解场景,智能体还能与世界交互。AI可以四处移动、拿起物体、按下按钮、模拟手势,测试动态VR环境中的各项功能是否正常。
  • -验证:当出现问题时,智能体可以自行进行修改并重新测试。它会在此循环中不断尝试,直至找到解决方案。智能体循环还让团队中的任何成员都能更轻松地微调体验,只需给出诸如“感觉太快了”或“把那些东西挪近点”之类的反馈即可。它能将你的文字映射到正确的物体上,调整其设置,并以可视化方式确认更改。

开始使用:亲自尝试

理解智能体循环的价值以及如何将其应用于VR体验的最佳方式就是亲自尝试。IWSDK让上手构建变得非常简单:

  • 创建项目。运行一行命令(npm create @iwsdk),选择你使用的AI工具(Claude Code、Cursor、GitHub Copilot或Codex)。一切会自动配置好,无需额外设置。
  • 描述你的想法。在AI工具中打开项目,用提示词提供你的想法,例如:“帮我做一个有霓虹方块和激光剑的RPG风格VR游戏。”
  • 观察构建过程。AI会编写代码、加载场景、测试交互、发现错误、修复错误,然后不断重复,全程无需你动手。你也可以启用协作模式,与AI在同一个浏览器标签页中协同工作。
  • 通过提示词微调。告诉它:“这些方块感觉太快了。”AI会调整设置,向你确认更改,然后保存。
  • 通过链接分享。让你的AI编码工具帮助你将项目部署到任何托管服务商(如GitHub Pages、Vercel、Netlify等),然后发送URL。任何人都可以在VR中打开它。

你需要准备:

  • Node.js 20或更高版本
  • Chrome或Edge浏览器
  • 一个AI编码工具(Claude Code、Cursor、GitHub Copilot或Codex)
  • 推荐:一台Meta Quest头显(Quest 3、3S或Pro)用于设备端测试,但上手阶段并非必需。

在终端中运行npm create @iwsdk,在AI编码工具中打开项目,描述你想构建的内容,更多分步指南请访问这个页面。

底层原理揭秘

IWSDK拥有一个专门构建的AI集成层,它为编码助手提供了前所未有的能力:对实时3D场景的空间理解。

SDK基于Three.js构建,采用由ELICS驱动的高性能实体组件系统(ECS),并配备了基于Vite的工具链以实现即时热重载。开箱即用提供:Havok物理引擎、单手/双手及远距离抓取交互、传送与平滑移动、完整的关节级手部追踪、空间UI面板(UIKitML)、3D音频、AR场景理解,以及基于浏览器的XR模拟(IWER)。开发过程中无需头显。

AI如何闭合循环

你的AI编码工具会连接到运行在Vite开发服务器内部的MCP(模型上下文协议)服务器,通过WebSocket与浏览器建立桥接。这为AI提供了超过40种专用工具,涵盖场景检查、XR设备模拟、ECS调试和语义代码搜索:

  • 观察场景:截取屏幕截图并查询完整的Three.js场景层级,以理解每个物体的位置、组件和相互关系。
  • 制XR输入:通过IWER的RemoteControlInterface以编程方式移动模拟头显、指向控制器、按下按钮、切换手部追踪以及模拟捏合手势。
  • 调试ECS:暂停模拟、逐帧步进、开关各个系统、实时修改组件数值,并通过对比状态快照精确定位变化。
  • 搜索真实API:利用语义搜索查询本地RAG服务器,该服务器索引了IWSDK代码库中的3000多个代码片段,确保AI始终引用真实的函数签名和模式,而非凭空捏造。

每个项目同时附带针对常见工作流预置的智能体技能、包含最佳实践与性能约束的项目知识文件,以及预先配置好的权限,使AI能够自主工作。

IWSDK采用MIT许可证开源,请访问iwsdk.dev开始使用。

---

原文链接:https://news.nweon.com/139443

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

财富在线退费沟通方式总结,理性... 财富在线服务内容与宣传不一致,备好相关凭证,可依规申请退费投资有风险,投资需谨慎!针对网上素未谋面的...
财富在线服务内容与宣传不一致?... 财富在线服务内容与宣传不一致,备好相关凭证,可依规申请退费投资有风险,投资需谨慎!针对网上素未谋面的...
财富在线投顾服务费退费经验,个... 财富在线投顾服务费退费经验,个人完整实操,关键要点全面总结投资有风险,投资需谨慎!针对网上素未谋面的...
博众投资荐股指导效果不佳的退费... 博众投资荐股指导效果不佳的退费申请流程全面梳理在证券投资领域,服务费纠纷频发,投资者常因误导性宣传蒙...
博众投资投顾服务承诺未兑现的退... 博众投资投顾服务承诺未兑现的退费处理方法解读在证券投资领域,服务费纠纷频发,投资者常因误导性宣传蒙受...
博众投资投顾服务宣传不符的退费... 博众投资投顾服务宣传不符的退费处理方式全面解析在证券投资领域,服务费纠纷频发,投资者常因误导性宣传蒙...
博众投资服务费退费条件详解及合... 博众投资荐股服务费:风险警示与退费指南在证券投资领域,服务费纠纷频发,投资者常因误导性宣传蒙受损失。...
阿牛智投退费办理渠道解析,选择... 阿牛智投退费办理渠道解析,选择正规途径,保障申请顺利进行“以为找了专业投顾机构当靠山,结果是把血汗钱...
阿牛智投服务承诺未兑现,整理有... 阿牛智投服务承诺未兑现,整理有效凭证,可申请相应费用退回“以为找了专业投顾机构当靠山,结果是把血汗钱...
阿牛智投股票服务退费注意事项,... 阿牛智投股票服务退费注意事项,证据规范留存,避免影响办理进度!“以为找了专业投顾机构当靠山,结果是把...
阿牛智投退费申请方式总结,符合... 阿牛智投退费申请方式总结,符合对应情形,即可依法办理退回“以为找了专业投顾机构当靠山,结果是把血汗钱...
国诚投顾服务未达预期效果,实用...   国诚投顾服务未达预期效果,实用处理方式分享  投资有风险,投资需谨慎!针对网上素未谋面的网友、网...
交纳上海亚商投顾费用感觉不合适...   交纳上海亚商投顾费用感觉不合适,处理流程经验整理  投资有风险,投资需谨慎!针对网上素未谋面的网...
国诚投顾交费后投顾服务缩水,备... 国诚投顾交费后投顾服务缩水,备齐相关资料,可按步骤提交退费国诚投顾确实是一家正规的投顾公司。但这并不...
国诚投顾会员费退费流程,个人实... 国诚投顾会员费退费流程,个人实操经验,完整步骤详细讲解国诚投顾确实是一家正规的投顾公司。但这并不能说...
成都汇阳交费后与宣传差距大,详...   成都汇阳交费后与宣传差距大,详细处理步骤分享  投资有风险,投资需谨慎!针对网上素未谋面的网友、...
被汇正财经劝说办理投顾服务交费...   被汇正财经劝说办理投顾服务交费,正确处理方法总结  投资有风险,投资需谨慎!针对网上素未谋面的网...
国诚投顾荐股服务效果不符预期,... 国诚投顾荐股服务效果不符预期,满足相关要求,服务费用可退回国诚投顾确实是一家正规的投顾公司。但这并不...
国诚投顾退费所需材料整理,证据... 国诚投顾退费所需材料整理,证据准备齐全,办理流程更顺畅国诚投顾确实是一家正规的投顾公司。但这并不能说...
国诚投顾诱导交纳投顾服务费,留... 国诚投顾诱导交纳投顾服务费,留存沟通记录,可走合理退费途径国诚投顾确实是一家正规的投顾公司。但这并不...
交了凯石证券费用后服务不符,正...   交了凯石证券费用后服务不符,正确处理方法分享  投资有风险,投资需谨慎!针对网上素未谋面的网友、...
遇到巨丰投顾违规投顾宣传服务,...   遇到巨丰投顾违规投顾宣传服务,妥善处理流程整理  投资有风险,投资需谨慎!针对网上素未谋面的网友...
国诚投顾股票咨询服务退费指南,... 国诚投顾股票咨询服务退费指南,保留相关凭证,提高办理成功率国诚投顾确实是一家正规的投顾公司。但这并不...
国诚投顾投顾服务费退费条件,服... 国诚投顾投顾服务费退费条件,服务与宣传不符,可按正规流程退费!国诚投顾确实是一家正规的投顾公司。但这...
被亚商投顾宣传误导交纳投顾费用...   被亚商投顾宣传误导交纳投顾费用,正确处理方式分享  投资有风险,投资需谨慎!针对网上素未谋面的网...