AI帮你写VR代码,Meta发布沉浸式网页SDK智能体工作流
创始人
2026-04-12 20:27:07

想法即体验

映维网Nweon 2026年04月11日)Meta曾在Connect 2025大会发布了用于在网页端构建VR应用的开源框架Immersive Web SDK(IWSDK)。它旨在处理VR开发中的棘手环节(物理模拟、手部追踪、抓取交互、移动方式和空间UI),以便你能专注于创意和想法本身。

现在,团队推出了与IWSDK完全集成的智能体工作流,以帮助你进一步加速VR开发。AI会与你并肩编写代码、测试交互并修复错误。开发者、游戏设计师、美术或其他任何人都可以在AI编码工具中打开IWSDK项目,将想法直接转化为可运行的VR体验,无需亲自编写代码,甚至不需要头戴设备。

为了测试IWSDK结合智能体工作流的效能,团队重新审视了旗下一款展示级WebXR应用:Project Flowerbed。这款沉浸式的VR园艺体验在发布时备受用户喜爱并启发了众多开发者。

原始代码需要编写数万行定制逻辑,但使用智能体工作流,团队利用Project Flowerbed现有的创意资产,从头开始重建了应用代码库,仅仅耗时15小时。这可不是修改拼写错误或生成模板代码那么简单。这是一个完整的、可交互的网页VR体验,是由AI利用IWSDK重建而成。

为何要在网页端构建VR?

WebXR允许你一次性将内容分发至桌面端和所有VR设备,用户只需点击链接即可立即访问你的体验。无需应用商店,无需下载。仅在Meta Quest平台,平均每月就有一百万用户参与WebXR体验。

网页端同时特别适合AI辅助开发。没有冗长的编译步骤,AI可以编写代码、重新加载并即时查看结果,在无需你干预的情况下进行多次迭代循环。这使得网页端成为绝佳的起点,尤其对于VR开发新手而言。

智能体循环

在实践中,智能体工作流意味着AI所做的不仅仅是生成代码,它还会测试和验证代码。这种闭环系统对于获得高质量、可靠的结果至关重要。IWSDK的AI集成彻底闭合了这一循环,为开发者提供了极致的生产力。

IWSDK可与你喜爱的AI编码助手配合使用,包括Claude Code、Cursor、GitHub Copilot、Codex及其他工具。利用它们,开发者可以通过完整的智能体循环使用IWSDK构建高质量的VR体验。

  • 知识渊博的代码生成:智能体能够访问和遍历完整的IWSDK文档和代码库,能生成遵循框架模式与最佳实践的高质量代码。
  • -场景理解与测试:智能体会截取VR场景的屏幕截图,并理解每个物体的位置、摆放和命名规则,从而做出明智的决策。除了理解场景,智能体还能与世界交互。AI可以四处移动、拿起物体、按下按钮、模拟手势,测试动态VR环境中的各项功能是否正常。
  • -验证:当出现问题时,智能体可以自行进行修改并重新测试。它会在此循环中不断尝试,直至找到解决方案。智能体循环还让团队中的任何成员都能更轻松地微调体验,只需给出诸如“感觉太快了”或“把那些东西挪近点”之类的反馈即可。它能将你的文字映射到正确的物体上,调整其设置,并以可视化方式确认更改。

开始使用:亲自尝试

理解智能体循环的价值以及如何将其应用于VR体验的最佳方式就是亲自尝试。IWSDK让上手构建变得非常简单:

  • 创建项目。运行一行命令(npm create @iwsdk),选择你使用的AI工具(Claude Code、Cursor、GitHub Copilot或Codex)。一切会自动配置好,无需额外设置。
  • 描述你的想法。在AI工具中打开项目,用提示词提供你的想法,例如:“帮我做一个有霓虹方块和激光剑的RPG风格VR游戏。”
  • 观察构建过程。AI会编写代码、加载场景、测试交互、发现错误、修复错误,然后不断重复,全程无需你动手。你也可以启用协作模式,与AI在同一个浏览器标签页中协同工作。
  • 通过提示词微调。告诉它:“这些方块感觉太快了。”AI会调整设置,向你确认更改,然后保存。
  • 通过链接分享。让你的AI编码工具帮助你将项目部署到任何托管服务商(如GitHub Pages、Vercel、Netlify等),然后发送URL。任何人都可以在VR中打开它。

你需要准备:

  • Node.js 20或更高版本
  • Chrome或Edge浏览器
  • 一个AI编码工具(Claude Code、Cursor、GitHub Copilot或Codex)
  • 推荐:一台Meta Quest头显(Quest 3、3S或Pro)用于设备端测试,但上手阶段并非必需。

在终端中运行npm create @iwsdk,在AI编码工具中打开项目,描述你想构建的内容,更多分步指南请访问这个页面。

底层原理揭秘

IWSDK拥有一个专门构建的AI集成层,它为编码助手提供了前所未有的能力:对实时3D场景的空间理解。

SDK基于Three.js构建,采用由ELICS驱动的高性能实体组件系统(ECS),并配备了基于Vite的工具链以实现即时热重载。开箱即用提供:Havok物理引擎、单手/双手及远距离抓取交互、传送与平滑移动、完整的关节级手部追踪、空间UI面板(UIKitML)、3D音频、AR场景理解,以及基于浏览器的XR模拟(IWER)。开发过程中无需头显。

AI如何闭合循环

你的AI编码工具会连接到运行在Vite开发服务器内部的MCP(模型上下文协议)服务器,通过WebSocket与浏览器建立桥接。这为AI提供了超过40种专用工具,涵盖场景检查、XR设备模拟、ECS调试和语义代码搜索:

  • 观察场景:截取屏幕截图并查询完整的Three.js场景层级,以理解每个物体的位置、组件和相互关系。
  • 制XR输入:通过IWER的RemoteControlInterface以编程方式移动模拟头显、指向控制器、按下按钮、切换手部追踪以及模拟捏合手势。
  • 调试ECS:暂停模拟、逐帧步进、开关各个系统、实时修改组件数值,并通过对比状态快照精确定位变化。
  • 搜索真实API:利用语义搜索查询本地RAG服务器,该服务器索引了IWSDK代码库中的3000多个代码片段,确保AI始终引用真实的函数签名和模式,而非凭空捏造。

每个项目同时附带针对常见工作流预置的智能体技能、包含最佳实践与性能约束的项目知识文件,以及预先配置好的权限,使AI能够自主工作。

IWSDK采用MIT许可证开源,请访问iwsdk.dev开始使用。

---

原文链接:https://news.nweon.com/139443

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

在国诚投顾交的服务费能退吗?投... 在国诚投顾交的服务费能退吗?投顾服务其实是套路!股民被诱导前提下均可退费!国诚投顾服务费是...
股掌柜证券服务费能退吗?荐股内... 投资有风险,入市需谨慎!股掌柜证券服务费能退吗?荐股内幕曝光!真相震惊股民,可退费!各位股友注意啦:...
顶点财经是正规公司吗?误导性宣... 顶点财经是正规公司吗?误导性宣传欺骗股民可以退!高收益利诱被骗交费已退款!当你在网上看到“躺着赚钱”...
揭秘!阿牛智投服务费可以退!可... 阿牛智投服务费可以退!可以退费!有法可依!误导性宣传欺诱导股民缴费!“以为找了专业投顾机构当靠山,结...
深圳市兰亭网络科技股权上市分红... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
创投精英汇直播间深圳市星耀佰倍... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
上海华迹智能科技认购股权符不符... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
深圳市兰亭网络科技股权上市分红... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
方舟创富会直播间长沙谷道农业科... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
长江创投会直播间上海零以博润通... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
贵州浩为企业管理咨询农商行股权... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
创投精英汇直播间深圳市星耀佰倍... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
创投精英汇直播间深圳市星耀佰倍... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
北京南湾咨询管理中心(有限合伙... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
上海华诏科技华璇传感原始股投资... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
上海华诏科技华璇传感原始股上市... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
长江创投会直播间上海零以博润通... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
方舟创富会直播间长沙谷道农业科... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
深圳市兰亭网络科技认购股权符不... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
中燚财经直播间刘大成院长、洪涛... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
北京南湾咨询管理中心(有限合伙... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
金龙学院(赵磊老师)直播间小砖... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
深圳市兰亭网络科技股权上市分红... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
上海极星耀科技股权投资能上市吗... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场加...
赵东交流圈筑梦学员计划讲课摇号... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。​“原始股”因常被...