编辑|Sia、晓楠
从 2D 像素到 3D 场景 Query,影溯正在尝试把三维内容生产推向可规模化调用的新阶段。
围着桌上的小摆件随手拍几张照片,几秒后,有趣的一幕发生了。
它们竟从二维照片中「立 」了起来,变成了一个可以把玩的 3D 内容。
没有扫描、几乎不用等待,咔嚓几下就能生成。
视频链接:https://mp.weixin.qq.com/s/O1juPtd5DAiQU8TxcYQL-w
我又用手机从不同角度给楼下的咖啡店拍了 6 张照片。这个空间也立刻被保存在了手机里。
视频链接:https://mp.weixin.qq.com/s/O1juPtd5DAiQU8TxcYQL-w
就连家里的卧室,也在咔嚓几声后,变成了一个可以自由探索的 3D 空间。
视频链接:https://mp.weixin.qq.com/s/O1juPtd5DAiQU8TxcYQL-w
聚餐、桌搭、毕业、搬家、婚礼、日常生活 ...... 手机能随手记录下当下重要的时刻,把能进入的场景发给身边的朋友,真的十分有趣。
视频链接:https://mp.weixin.qq.com/s/O1juPtd5DAiQU8TxcYQL-w
这款 App 叫 Crystal 空间相机,是影溯( InSpatio ) 将最新研究成果做成的一款免费 3D 捕捉工具,让每个人都能轻松体验亲手拍摄 3D 空间照片的感觉。
这背后的技术,是影溯正式开源的前馈式 3D Gaussian Splatting 生成技术 QuerySplat。只需输入少量不同视角、无需提供相机位姿的图片,即可在一次前向推理中,秒级生成可自由切换视角的 3D 场景。
视频链接:https://mp.weixin.qq.com/s/O1juPtd5DAiQU8TxcYQL-w
在大规模 DL3DV-Evaluation 基准的 2、4、12 视图设置中,Topos-Lite 在 PSNR 和 SSIM 指标上均取得最优结果;在更关注感知相似度的 LPIPS 指标上,也在 2 视图和 4 视图设置中排名第一。
更直观的变化是,模型生成的物体边缘更锐利、纹理更清晰,跨视角结构也更稳定。
同样输入5张图片后,与其他方法相比,Topos-Lite生成结果(Ours)中的主体轮廓更完整,纹理更清晰,场景结构也更加干净稳定。
这一次,影溯选择将 QuerySplat 开源,不只是公开一项技术成果,更希望推动前馈式 3D 生成从少数团队的前沿探索,走向整个行业可以共同验证、持续迭代的技术基础,加速 3D 内容生产真正迈向规模化,并创造出更多好玩的 3D 应用。
Topos-Lite 最值得关注的地方,并不只是把 3D 场景做得更清楚,而是改变了模型组织三维空间的方式。
Topos-Lite 架构图
过去不少前馈式 3DGS 方法采用像素对齐( Pixel-Aligned)的范式。可以把它理解为:模型先从每张图片的每个像素出发,预测这个像素在三维空间里对应什么,再把大量预测组合成一个场景。
但它有一个先天问题:高斯点仍然被牢牢绑定在二维图像的像素和相机射线上。不同视角中的像素稍有误差,就可能在三维空间里产生冲突,最终表现为重影、漂浮、结构偏移,或者大量小尺度、低效率的高斯球。
这有点像几个人从不同角度给同一只花瓶描轮廓,再把几张透明描图纸叠在一起。理想情况下,瓶口、瓶身和底座应该准确重合。但只要其中一张稍微画偏,叠起来就会出现双重轮廓,周围还可能留下零散的线条。
Topos-Lite 采用的是 Query-based 的思路。
它不再要求每个高斯点首先属于某一个像素,而是让一组可学习的 Query 充当「场景级位置」。每个 Query 可以跨越不同图片、不同区域聚合信息,再在连续三维空间中生成一组 Gaussian Primitives。
这让 Transformer 熟悉的 Query 和 Attention 机制,在这项工作中真正承担起组织三维场景的角色:Query 不再只是围绕二维 Token 工作,而是成为连续三维空间中的场景槽位。
只需输入数量不等、未经相机标定的随手拍照片,模型便能在无需相机位姿的情况下,通过一次前向推理快速生成可自由切换视角的3D Gaussian场景。与其他方法相比,其生成结果中的主体轮廓更完整,纹理更清晰,场景结构也更加干净稳定。
传统高质量 3DGS 往往需要围绕一个场景采集大量图片,获得或计算相机参数,再对这个场景单独进行较长时间的优化。它可以得到很好的结果,但每遇到一个新场景,就要重新做一遍。
前馈模型改变的是成本结构。模型训练完成后,面对一个新场景,不再从头优化,而是直接完成一次预测。就像图像生成模型不会为每张新图片重新训练一样,3D 场景生成也开始从每个项目单独制作,变成一种可以被重复调用的通用能力。
对普通用户而言,这带来三个最直接的变化:需要拍摄的图片更少、不需要手动提供专业相机标定信息、等待时间从传统流程压缩到秒级。
从结果来看,Topos-Lite 在 DL3DV-Evaluation 的多种稀疏视图设置中取得了当前最强的整体表现。
特别是在 4 视图设置中,模型在 PSNR、SSIM 和 LPIPS 三项指标上均排名第一。即使只输入两张图片,它也保持了领先的结构和渲染质量。
定性比较。
SOTA 效果之外,Topos-Lite 还提供了明确的容量扩展接口。
训练过程中,Query 数量可从 1,024 逐步扩展至 8,192,每个 Query 解码一组 Gaussian Primitives。更强的几何骨干、更大的 Decoder、更多 Query,以及更高分辨率的外观特征,都可以分别扩展。
这还不能被简单称为已经证明了 「 3D Scaling Law 」,但它至少说明了一件重要的事:前馈化解决了新场景的边际生成成本,Query 化则为场景表达容量留下了继续扩展的入口。速度和质量不再必须二选一。
值得一提的是,Topos-Lite 的性能还处于早期研究阶段,远未触及天花板。在数据规模效应的持续驱动下,其 3D 生成的品质与精细度将持续跃升;更值得期待的是,未来该模型将有能力在端侧高效运行,实现3D内容的本地化快速生成,解锁更广阔的应用场景。
在影溯看来,过去十年,人工智能主要在学习人类已经表达出来的世界,而下一阶段,它需要进一步理解世界本身。语言是智能理解人类文明的入口,空间则是智能进入真实世界的基础。
图片和视频当然包含丰富的空间线索,但本质上仍然是三维世界在特定时间、特定视角下的二维投影。同一个房间可以拍出无数张不同画面,但背后不变的仍是房间本身的三维结构。
因此,二维更像是 Observation,三维则更接近 State。
如果模型只从二维像素中学习,它不仅要理解场景,还要反复处理视角、投影、遮挡和光照造成的变化。视频中的大量帧,可能只是在不同位置、不同时间重复记录同一面墙、同一张桌子。模型必须从这些高度冗余的观测中,反推出背后相对稳定的空间结构。
而引入三维,意味着将「世界是什么」和「我们怎样看见世界」分开。模型可以学习一种更紧凑、更稳定的空间表征,并理解这一状态如何在不同视角和条件下生成不同观测。它不必反复记忆大量相似画面,也更有机会持续追踪环境、物体及其相互关系。
这也解释了为什么空间智能并非 AI 的边缘分支。语言模型可以回答「这是什么」和「这意味着什么」,但进入真实世界的机器还必须回答「我在哪里」、「物体之间是什么关系」、「下一步会发生什么」和「我应该怎样行动」。
从数字智能走向物理智能,空间不是一个可选项,而是一项需要掌握的基本能力,更是一道无法绕开的门槛。
空间智能是一条很难依靠短期追逐热点走通的路线。从相机模型、标定、SLAM,到三维重建和几何优化,再到神经网络训练、数据系统与产品部署,每个环节都有大量不容易被外界看见的工程细节。一项工作在论文里成立,不代表它能在真实环境里稳定运行;一个 Demo 足够漂亮,也不代表它能够以可控成本持续 Scale。
而影溯的核心团队在 SLAM、三维视觉和空间智能领域已有近二十年的积累,早已形成一套贯通基础研究、工程实现与产业落地的能力体系。
二十多年来,影溯创始人章国锋教授一直在追问一个问题——机器究竟要怎样理解一个真实的三维世界?
章国锋本科和研究生阶段均就读计算机专业。在研究生阶段,章国锋加入鲍虎军教授团队,从大型科研项目中的摄像机跟踪问题开始进入三维视觉领域。最早,他要解决的是如何从一段视频中恢复摄像机的运动。随后,问题从离线处理变成实时跟踪,从单一镜头扩展到 SLAM、三维重建和空间智能。
这些技术方向,背后指向的是同一件事:机器不能只看见一帧画面,它还要知道自己在哪里,周围的物体如何分布,不同视角下看到的内容为什么仍然属于同一个空间。
此后,章国锋完整经历了三维技术从摄像机跟踪、移动端 SLAM、实时空间重建,到 NeRF、3D Gaussian Splatting、生成式 3D 和世界模型的发展。技术表达不断变化,但核心问题没有改变:如何从有限的二维观测中,恢复、表示并推演背后相对稳定的三维世界。
如果说高校研究让他不断接近这个问题的技术本质,那么,在商汤负责数字空间相关技术和业务的经历,让他看到了另一面:一项三维技术在论文中成立,与它能否成为真实世界中的基础能力,是两件不同的事。
三维技术要进入产品,不只要追求精度,还要面对速度、稳定性、设备成本、系统效率和客户交付;要从一次漂亮的 Demo 走向大规模应用,就必须把每个场景单独优化的项目能力,变成可以持续复用和规模化调用的系统能力。
多年来,这种双重身份的淬炼使他能够将空间智能的前沿算法,转化为驱动产业变革的实际动能。而这些来自学术端的理论突破与产业端的落地认知,又经由联合创始人刘浩敏博士及其团队的工程化能力进一步放大,在产业一线完成了模型训练、效率优化与系统验证,让前沿算法得以在有限算力下实现实时响应与极致吞吐。
长期协作带来的价值,远不止彼此熟悉。底层技术研究中,大量问题没有标准答案,技术路线也经常无法被提前证明。团队需要能够快速暴露问题、相互质疑结果,并在信息不充分、方向不确定的情况下,依然形成共同判断。人才可以招聘,设备可以买到,但共同的技术语言、对问题的判断方式,以及彼此之间的信任,只能通过时间形成。
在与影溯的交流中,机器之心发现,影溯的团队结构也颇为特别:既有长期积累,也保持着年轻团队的活力。
多位核心成员已在三维视觉领域深耕十余年,围绕 3D 研究积累了长期迭代的基础设施;与此同时,许多年轻研究者也能直接参与核心课题,并承担关键工作。Topos-Lite 的关键突破,就是由团队中的 「00 后」研究员主导完成。长期积累与年轻研究者的快速成长,在这里并不矛盾,而是共同构成了团队的研究效率。
这种组织方式背后,是影溯对研究效率的一种判断:真正有潜力的研究者,应当尽可能接近最重要的问题,并在真实任务中快速成长。年龄、资历和头衔可以作为参考,但不应成为人才参与核心创新的边界。
当然,空间智能的终局很大,但三维技术的价值,并不需要等到机器人真正进入千家万户之后才开始显现。更现实的路径,是先降低三维内容的生产门槛,让它进入人们已经存在的记录、展示与创作需求。
首先是空间记录。当三维生成足够简单、快速且低成本,人们可以把几张照片变成能够自由切换视角、重新进入的「空间照片 」。即将搬离的第一个家、孩子成长的房间、毕业前的教室,或者婚礼当天的礼堂,都可以都可以从一组平面影像变成更完整的空间记忆。过去二维影像成为主流,很大程度上源于它的捕捉、存储和传播成本更低。当三维内容获得接近拍照的使用门槛,记录生活的媒介也可能随之发生变化。
其次是空间展示与远程体验。在房产、酒店、商业展陈、零售门店和室内设计等领域,用户真正关心的往往不只是几张精心选择的平面图片,还包括空间布局、物体之间的关系,以及人在其中移动时看到的变化。通过少量现场照片快速生成可浏览的三维场景,可以让看房、选房、展厅参观、装修沟通和商品陈列拥有更直观的表达方式,也能降低传统三维采集和内容制作的成本。
还有生成式内容生产。对游戏、影视和互动内容创作者而言,这意味着二维生成、视频制作和三维场景之间可以建立更直接的连接。未来,一段生成视频或几张概念图,可能进一步转化为可自由浏览、继续编辑和用于虚拟拍摄的三维资产,从而进入游戏、影视、电商和互动内容等工作流。
而对机器人而言,这些三维世界有着更重要的意义。当场景进一步拥有物体语义、动态变化和物理规律,它们就不再只是供人观看的内容,也可以成为机器进行仿真、验证和学习的训练场。机器人可以在进入真实世界之前,先在无数可生成、可控制、可重复的虚拟世界中经历环境、理解空间、学习行动。
先让三维技术进入真实场景,再让真实使用产生的数据训练更强的空间智能,这可能是三维数据走向规模化的一条现实路径。
今天,「世界模型」已经成为一个被广泛使用的概念。从视频生成、可交互游戏环境,到机器人控制系统,不同技术路线都被纳入世界模型的讨论。
对影溯而言,世界模型是实现目标的技术路径,空间智能才是长期方向。
它希望构建的,是一种能够在现实世界中验证自身空间理解能力的智能:知道自己在哪里,理解物体、环境与自身之间的关系,能够预测世界如何变化,也能判断行动将带来什么结果。
显然,Topos-Lite 还不是这个终局。但它解决了其中一个基础且现实的问题:让 Transformer 借助明确的三维结构,从少量二维观测中快速组织出稳定、清晰、可渲染的三维场景。
更重要的是,它也让影溯关于空间智能的长期判断,落实到可以公开体验、量化评测和持续迭代的技术结果上。
未来的空间智能会继续沿着 Transformer 演进,还是转向 JEPA 或尚未出现的新架构,目前仍无定论。但无论架构如何变化,只要机器需要进入真实世界,空间理解就无法绕开;要形成这种能力,也离不开大规模、高质量的 3D、4D 数据,以及持续降低数据生产成本的基础设施。
而在这一庞大的叙事中,影溯希望参与建设的,正是这套面向物理智能的模型、数据与工程基础设施。未来的机器人、智能汽车、智能眼镜和新型终端形态各异,却都需要一颗“大脑”,去理解自身所处的空间,并据此感知、预测和行动。
Topos-Lite 则是这条长路上的一次阶段性证明:三维场景可以生成得更快、更清晰,也可以更开放地被调用;Transformer 的处理对象,也开始从语言和二维 token 延伸到连续三维空间。
当空间能够像图片和视频一样被低成本记录、生成和分享,一个属于三维内容的新网络,或许才刚刚打开入口……
上一篇:阿里Max级模型将首次开源
下一篇:没有了