AI帮你写VR代码,Meta发布沉浸式网页SDK智能体工作流
创始人
2026-04-12 20:27:07

想法即体验

(映维网Nweon 2026年04月11日)Meta曾在Connect 2025大会发布了用于在网页端构建VR应用的开源框架Immersive Web SDK(IWSDK)。它旨在处理VR开发中的棘手环节(物理模拟、手部追踪、抓取交互、移动方式和空间UI),以便你能专注于创意和想法本身。

现在,团队推出了与IWSDK完全集成的智能体工作流,以帮助你进一步加速VR开发。AI会与你并肩编写代码、测试交互并修复错误。开发者、游戏设计师、美术或其他任何人都可以在AI编码工具中打开IWSDK项目,将想法直接转化为可运行的VR体验,无需亲自编写代码,甚至不需要头戴设备。

为了测试IWSDK结合智能体工作流的效能,团队重新审视了旗下一款展示级WebXR应用:Project Flowerbed。这款沉浸式的VR园艺体验在发布时备受用户喜爱并启发了众多开发者。

原始代码需要编写数万行定制逻辑,但使用智能体工作流,团队利用Project Flowerbed现有的创意资产,从头开始重建了应用代码库,仅仅耗时15小时。这可不是修改拼写错误或生成模板代码那么简单。这是一个完整的、可交互的网页VR体验,是由AI利用IWSDK重建而成。

为何要在网页端构建VR?

WebXR允许你一次性将内容分发至桌面端和所有VR设备,用户只需点击链接即可立即访问你的体验。无需应用商店,无需下载。仅在Meta Quest平台,平均每月就有一百万用户参与WebXR体验。

网页端同时特别适合AI辅助开发。没有冗长的编译步骤,AI可以编写代码、重新加载并即时查看结果,在无需你干预的情况下进行多次迭代循环。这使得网页端成为绝佳的起点,尤其对于VR开发新手而言。

智能体循环

在实践中,智能体工作流意味着AI所做的不仅仅是生成代码,它还会测试和验证代码。这种闭环系统对于获得高质量、可靠的结果至关重要。IWSDK的AI集成彻底闭合了这一循环,为开发者提供了极致的生产力。

IWSDK可与你喜爱的AI编码助手配合使用,包括Claude Code、Cursor、GitHub Copilot、Codex及其他工具。利用它们,开发者可以通过完整的智能体循环使用IWSDK构建高质量的VR体验。

  • 知识渊博的代码生成:智能体能够访问和遍历完整的IWSDK文档和代码库,能生成遵循框架模式与最佳实践的高质量代码。
  • -场景理解与测试:智能体会截取VR场景的屏幕截图,并理解每个物体的位置、摆放和命名规则,从而做出明智的决策。除了理解场景,智能体还能与世界交互。AI可以四处移动、拿起物体、按下按钮、模拟手势,测试动态VR环境中的各项功能是否正常。
  • -验证:当出现问题时,智能体可以自行进行修改并重新测试。它会在此循环中不断尝试,直至找到解决方案。智能体循环还让团队中的任何成员都能更轻松地微调体验,只需给出诸如“感觉太快了”或“把那些东西挪近点”之类的反馈即可。它能将你的文字映射到正确的物体上,调整其设置,并以可视化方式确认更改。

开始使用:亲自尝试

理解智能体循环的价值以及如何将其应用于VR体验的最佳方式就是亲自尝试。IWSDK让上手构建变得非常简单:

  • 创建项目。运行一行命令(npm create @iwsdk),选择你使用的AI工具(Claude Code、Cursor、GitHub Copilot或Codex)。一切会自动配置好,无需额外设置。
  • 描述你的想法。在AI工具中打开项目,用提示词提供你的想法,例如:“帮我做一个有霓虹方块和激光剑的RPG风格VR游戏。”
  • 观察构建过程。AI会编写代码、加载场景、测试交互、发现错误、修复错误,然后不断重复,全程无需你动手。你也可以启用协作模式,与AI在同一个浏览器标签页中协同工作。
  • 通过提示词微调。告诉它:“这些方块感觉太快了。”AI会调整设置,向你确认更改,然后保存。
  • 通过链接分享。让你的AI编码工具帮助你将项目部署到任何托管服务商(如GitHub Pages、Vercel、Netlify等),然后发送URL。任何人都可以在VR中打开它。

你需要准备:

  • Node.js 20或更高版本
  • Chrome或Edge浏览器
  • 一个AI编码工具(Claude Code、Cursor、GitHub Copilot或Codex)
  • 推荐:一台Meta Quest头显(Quest 3、3S或Pro)用于设备端测试,但上手阶段并非必需。

在终端中运行npm create @iwsdk,在AI编码工具中打开项目,描述你想构建的内容,更多分步指南请访问这个页面。

底层原理揭秘

IWSDK拥有一个专门构建的AI集成层,它为编码助手提供了前所未有的能力:对实时3D场景的空间理解。

SDK基于Three.js构建,采用由ELICS驱动的高性能实体组件系统(ECS),并配备了基于Vite的工具链以实现即时热重载。开箱即用提供:Havok物理引擎、单手/双手及远距离抓取交互、传送与平滑移动、完整的关节级手部追踪、空间UI面板(UIKitML)、3D音频、AR场景理解,以及基于浏览器的XR模拟(IWER)。开发过程中无需头显。

AI如何闭合循环

你的AI编码工具会连接到运行在Vite开发服务器内部的MCP(模型上下文协议)服务器,通过WebSocket与浏览器建立桥接。这为AI提供了超过40种专用工具,涵盖场景检查、XR设备模拟、ECS调试和语义代码搜索:

  • 观察场景:截取屏幕截图并查询完整的Three.js场景层级,以理解每个物体的位置、组件和相互关系。
  • 制XR输入:通过IWER的RemoteControlInterface以编程方式移动模拟头显、指向控制器、按下按钮、切换手部追踪以及模拟捏合手势。
  • 调试ECS:暂停模拟、逐帧步进、开关各个系统、实时修改组件数值,并通过对比状态快照精确定位变化。
  • 搜索真实API:利用语义搜索查询本地RAG服务器,该服务器索引了IWSDK代码库中的3000多个代码片段,确保AI始终引用真实的函数签名和模式,而非凭空捏造。

每个项目同时附带针对常见工作流预置的智能体技能、包含最佳实践与性能约束的项目知识文件,以及预先配置好的权限,使AI能够自主工作。

IWSDK采用MIT许可证开源,请访问iwsdk.dev开始使用。

---

原文链接:https://news.nweon.com/139443

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

电动车刹车变软、轮胎亏气别硬骑... 电动自行车便宜、省事,很多人买回来除了充电几乎不看车况,刹车线松了、轮胎亏气了照样骑。但刹车和轮胎是...
蒸汽拖把别当万能清洁神器:选购... 入冬后家里拖地干得慢、地面又容易脏,号称高温杀菌、拖完即干的蒸汽拖把又迎来一波热销。蒸汽拖把的原理并...
切完生肉直接切水果?一块案板的... 很多家庭的厨房里只有一块案板,切完生鸡肉接着拌凉菜,切完生猪肉顺手切点水果给孩子吃。不少人觉得案板用...
家用跑步机怎么选怎么用:安全细... 跑步机是家庭里最常见的有氧健身器材,但近年来监管部门监测发现,由电动跑步机造成的摔伤、夹伤事故时有发...
枕套常洗枕芯不管?尘螨霉菌正在... 很多人家里床单被罩换得勤,枕套也每周洗,唯独枕芯一用就是好几年,觉得套着枕套就干净了。其实枕芯才是最...
入冬要不要换雪地胎:看温度不看... 每年入冬,很多北方车主都会纠结一件事:要不要给车换上雪地胎。有人觉得等下雪再换也来得及,有人觉得自己...
冬天暖气房里的绿植总黄叶:不是... 每年一到供暖季,很多人家里的绿萝、龟背竹、发财树就开始出问题:叶片发黄、叶尖焦枯,甚至整株蔫掉。第一...
在家练瑜伽别随便买张垫子:瑜伽... 瑜伽垫和身体皮肤、口鼻的距离非常近,做动作时脸还常常贴近垫面,所以它不只是运动装备,更是一件要长期贴...
小区门禁刷脸别被迫交出人脸:法... 不少小区把门禁升级成了"刷脸"系统,业主想进自家楼门,先得去物业录一张人脸照片。有人觉得方便,也有人...
衬衫领口袖口发黄别急着用热水:... 白衬衫穿了几次,领口和袖口就泛出一圈洗不掉的黄印,很多人第一反应是换更贵的洗衣液,或者直接用热水使劲...
骑电动车带孩子别一车挤三四个:... 天一转凉,学校门口和菜市场门口总能见到这样的电动车:前踏板上站着一个,后座挤着一个,中间还有菜和书包...
家里长期没人别只关水阀:严寒天... 冬天出差或房子空置几个月,很多人临走前会检查燃气、拔掉插头,却常常漏掉水。北方有暖气的房子,管道里本...
天黑得早孩子放学路上别穿深色:... 霜降前后昼短夜长,北方不少城市傍晚六点就暗了。小学放学、初中晚自习散场,正撞上车灯全开、行人最难被看...
眼镜戴久了总往下滑别只顾着推:... 很多人一天要推几十次眼镜:低头看手机往下掉,鼻梁上还压出两道红印。多数人把原因归到鼻梁不够高、汗太多...
空调停用别急着罩外机:散热通道... 天一凉,很多人做的第一件事就是拿块布、套个罩,把阳台上那台空调外机裹得严严实实,怕它淋雨、怕它落灰。...
冬天出门运动别穿纯棉打底:三层... 天气一冷,不少人出门跑步、爬山时只想着多穿两件,或者在内层套一件厚纯棉保暖衣,觉得贴身吸汗最舒服。可...
蚕丝被盖着发闷还越盖越重:增重... 一、蚕丝被发沉不是"盖旧了"入秋换被子,不少人翻出盖了几季的蚕丝被,发现它比刚买时沉,压身上发闷,边...
牛仔裤别穿几个月不洗:掉色原因... 牛仔裤耐穿耐磨,却总在洗完之后掉色、发硬、变形。有人干脆相信"牛仔裤不能洗",一条穿几个月不下水。这...
厨房总闻到邻居炒菜味:烟道止回... 一、烟道串味不是油烟机不够猛很多人一闻到邻居的油烟,第一反应是把油烟机换个风量更大的。其实油烟倒灌多...
天冷鼻孔里冒出长鼻毛别上手拔:... 一、鼻毛不只是看着碍眼鼻毛是呼吸道的第一道物理屏障。鼻腔黏膜表面覆盖着黏液,纤毛向咽部单向摆动,把黏...
换马桶别只量坑距就下单:水效等... 马桶是家里使用最频繁的洁具之一,也最容易买错、装错。不少人以为量一下坑距、挑个顺眼的颜色就完事,用起...
墙上插座怎么挑怎么装:10A与... 墙面插座平时不起眼,一旦选错,轻则插头插不进去、用久了发烫发黑,重则过载起火。它属于强制性产品认证目...
冬天用取暖器别把衣服搭上去:选... 天气转冷,电暖器、暖风机、小太阳陆续搬出来,不少人顺手就把湿袜子、秋衣搭在机器上,觉得这样干得快又不...
买嵌入式蒸箱别只看蒸得快:安全... 秋冬进厨房,蒸箱常被列进家电清单。它不冒油烟、不用看火,蒸鱼蒸蛋一次能出好几层。但买回家才发现,问题...
雪地靴不等于雪地安全:鞋底、后... 入冬后雪地靴成了鞋柜里的主角。毛茸茸的内里、厚实的鞋底,看上去又暖又稳。可它名字里虽然有个"雪"字,...