7月15号,小米把Xiaomi-Robotics-U0开源了。
这是一个380亿参数的多模态自回归具身生成模型。
首次将多项具身世界建模能力与通用图像生成能力,统一到一套多模态自回归架构中,为机器人训练数据的生成、迁移和扩增提供统一底座。
给我一个很强的信号是:具身智能终于也迎来了「GPT-Image时刻」。
项目主页:https://robotics.xiaomi.com/xiaomi-robotics-u0.html
之前打开项目主页和GitHub仓库,把技术报告从头到尾翻了一遍。
这一个模型,能完成三类具身任务:具身场景生成(文生图)、具身迁移(图像编辑)、机器人交互视频生成;
还具备通用文生图和图像编辑能力。
几项能力拼在一起,就构成了一条完整的数据生产流水线。
所有输出都能直接喂给下游策略模型做训练,不需要人工干预,不需要重新采集。
说是「具身数据工厂」也不为过:低成本、高效率、可控生成……
这套链路跑通之后,具身智能的数据瓶颈就多了一个解法。
01U0在做的,是一个可控、高效、低成本的「具身数据工厂」
不像LLM可以用互联网上海量的文本数据,机器人的数据,来自真实物理世界。
行业里有个测算:训练机器人学会一个动作,大概需要1000到5000条数据;
学会一个由多个动作组成的任务,需要1万到2万条数据;
完成某个垂直行业80%的人类工作,至少需要1亿条数据。
图片引自:Xiaomi-Robotics-U0: Unified Embodied Synthesis with World Foundation Model
1亿条,每条都得是真实物理世界里的操作记录。
单纯扩大采集规模,成本会线性上涨……采集本身就是钱,存储是钱,清洗标注是钱,训练是钱。
Xiaomi-Robotics-U0要解决的核心问题,就是如何低成本地生产有效数据。
它做的事可以这样理解:基于少量真实数据,用模型可控地放大成大规模的训练数据。
过去具身生成是「一个任务一个模型」。
场景生成用一个,轨迹迁移用一个,视频生成再用一个。模型之间彼此割裂,很难规模化。
U0实验视频
U0用统一的多模态自回归框架,把四类任务全部覆盖:
具身场景生成、具身迁移、机器人交互视频生成,外加通用的文生图和图像编辑。
这种统一架构,创新的难点在于,场景生成、轨迹迁移、视频生成这三类任务对模型的要求本质上相互冲突——一个要空间想象力,一个要几何约束力,一个要时序连贯性,硬塞进同一个模型里,搞不好就哪个都做不好。
U0的核心突破,是把图像和动作映射到同一个表示空间,用统一的next token prediction方式训练,再通过五维解耦的结构化控制让不同任务各取所需、互不干扰。
这样一来,场景生成的结果可以直接喂给迁移做增广,迁移后的数据又能作为视频生成的初始帧,数据在同一个模型里自动流转,形成一条完整的数据生产线,维护成本和开发门槛,都比维护三个独立模型低得多。
具身场景生成,是会根据文本描述,生成指定机器人的多视角初始场景;
具身迁移,是把已有轨迹迁移到新环境,改变光照、背景、物体等,同时保持机械臂位姿和布局一致;
机器人交互视频生成,则是基于初始观测和指令生成连贯动作视频,支持零样本泛化;
以及通用文生图与图像编辑,和单纯的视觉模型不一样,这是将互联网视觉知识迁移到具身任务。
一个模型,从初始场景到各种延伸,完成多种生成任务,定制化、场景化、动态化,为机器人训练提供可控、可扩展的合成数据。
很创新的价值在于:对已有的真机数据,可以换物体、换光照、换背景、加干扰,全部通过语言描述完成,不需要重新采集。
也能从零生成全新的场景,覆盖那些真机根本采集不到的危险环境、极端条件、长尾场景。
但这里面有个关键问题:通用图像生成模型也能做类似的事情,为什么不能用?
因为具身生成,和通用图像生成有本质区别。
通用图像生成只需要看起来合理就行。
但机器人训练数据必须在几何上严格一致:同一个物体在不同相机视角下的位置必须对齐,机械臂的位姿不能因为换了背景就发生错位。
如果数据在几何上不一致,下游的机器人策略,根本没法用。
U0解决这个问题的办法是,「五维解耦的结构化控制」。
把生成过程分解成五个维度:工作台布局、前景操作物体、前景无关杂物、光照条件、背景信息。
每个维度都可以用自然语言独立调控。
比如说:“把光照改成夕阳,背景换成厨房,其他不变”,模型就能精准执行,同时保持多视角的几何一致性。
这种可控性是统一架构能用的前提。
而最让我觉得欣喜的,是U0已经开源,为整个行业,提供了一座统一、可控、高效的「具身数据工厂」。
这也将进一步推动机器人训练数据,从分散生成走向规模化生产,推动机器人训练效率及规模化落地。
02实战数据,比榜单更有说服力
WorldArena的排名也值得一提。
这是清华大学、北京大学等联合打造的评测基准。
U0在全球126个参评模型中拿了总分第一,指令遵循、交互质量、视角一致性三个子项都是第一。
关键是,U0可以生成连贯的抓取、放置、形变交互长时序视频,还支持虚拟相机运动仿真——这对于机器人策略的离线验证和场景预演,很有广泛的实用价值。
匿名代号UNIS,榜单时间是2026年7月15日。
但我更关注的是真机验证的结果。
在精细操作(耳机收纳)、可变形物体(毛巾折叠)、长程任务(物品装箱)这三类任务上,团队做了对照实验。
在未知光照、陌生背景这些分布外场景下,使用U0扩增数据训练的策略,任务完成进度平均提升了26.3%。
具体数字是:pi_0.5这个基线模型在干扰条件下的任务完成进度从36.9%提升到了63.2%。
这就意味着,从远远不及格到及格以上;从几乎不可用到可用。称得上是一个milestone了。
叠毛巾任务对比视频
这组真机数据,很有现实环境里的验证价值:生成的数据,真能帮机器人干活。
U0挑的三类任务很有代表性:精细操作、可变形物体、长程任务,覆盖了具身操作的主要难点,哪个都不好对付。
而且面对反光、彩色灯光这些极端干扰,模型不会卡死,能自校正,再次证明生成数据是真的符合现实环境,是真的能转化成机器人在物理世界里的干活能力。
这个结果说明,U0生成的数据不只是看起来像,不只能提升视觉多样性,是真的能转化成机器人的实际泛化能力。
实打实地通过Transfer能力,实现了首个能在复杂光照和强背景干扰下,保留大部分成功率的VLA模型。
还有一个对比值得注意。
在300样本的测试集上,U0在深度一致性、结构保真、语义对齐三个维度上大幅超越了GPT-Image-2.0。
GPT-Image-2.0生成的图片在物体和场景上符合文本描述,但普遍出现跨视图物体错位、空间畸变。
机械臂的位姿没有被保留,这样的数据对应不回原始轨迹,不能用于下游训练。
具身迁移效果的对比,很直观:
灰色框中GPT-Image-2.0生成的结果,场景布局信息不对,机械臂位置也都错了,没保留原始多视角的机械臂位姿。
导致迁移后的多视角观测无法对应到原始轨迹中的动作信息。
Xiaomi-Robotics-U0生成的结果,同时做到了保留多视角场景布局和根据描述进行修改,因此可被用于下游数据增广。
差距不在画质,在几何。
能够显著对比GPT-Image-2.0有优势,这是挺让我惊喜的。
03业界福音:速度快,成本低,还开源
模型再厉害,跑不动也是白搭。
U0基于多模态自回归架构,采用IBQ作为图像tokenizer。
传统自回归模型逐token生成,能利用丰富的前驱信息逐步完善图片,但面对高分辨率图片时效率大幅下降。
小米团队提出了FlashAR+高速推理加速方案。
在FlashAR文生图适配的基础上扩展,适配了图像编辑、具身迁移等任务,结合vLLM进一步提升效率。
效果是:1024*1024分辨率的单样本吞吐量从450.77秒每图提升到5.44秒每图,生成效率提升了82.9倍。
从七分半钟一张图,到五秒多一张图。
这个速度给我的体感很直观。而且意味着,可以在较少的算力资源上部署使用,也就是说生成大规模训练数据的成本大幅下降。
对于一个“数据工厂”定位的模型来说,这个速度是关键基础设施级别的优化。
意味着效率真的上去了,可以低成本、批量化生产可用的机器人数据了。
关键是,小米这次把代码和模型权重全部开源了。
项目主页、GitHub仓库、HuggingFace模型权重,全部公开。
这不是小米第一次在具身智能领域开源。
今年二月,他们就开源了Xiaomi-Robotics-0,一个47亿参数的VLA模型,核心解决了传统模型推理延迟高、真机动作不连贯的问题。
GitHub: https://github.com/XiaomiRobotics/Xiaomi-Robotics-0
在消费级显卡RTX 4090上推理延迟压到80毫秒,控制频率达到每秒30次。
如果说Robotics-0解决的是“机器人怎么动起来”的问题,那U0解决的是“机器人拿什么数据来学”的问题。
两个模型拼在一起,一条从数据生成到实时执行的完整技术链路正在成型。
小米在机器人赛道上的策略越来越清晰:不是做封闭的技术堡垒,是把基础设施层的东西开源出来,让更多人能参与。
这个逻辑在移动互联网时代已经被验证过。
安卓开源,然后催生了整个移动终端及移动互联网生态。
机器人赛道要真正爆发,也不能只靠几家大厂自己玩,需要整个生态先活起来。
从行业竞争的角度看,释放的信号也很明确:机器人赛道的竞争正在从「拼硬件」转向「拼算法」。
开源生态的建立会加速行业洗牌,没有自研模型能力的硬件厂商,未来可能会面临更大的压力。
当然,挑战依然存在。仿真和榜单的成绩再漂亮,真机部署时还会遇到各种没见过的状况。
合成数据能否完全替代真实数据,尤其是在精密操作这类需要精确力控的场景,还需要更长时间验证。
但U0至少证明了一件事:用生成模型来规模化生产训练数据,这条路是走得通的。
04一些个人的判断
我在想,具身智能的数据瓶颈,一定不是靠多买几台机器人、多雇几个采集员能解决的。
物理世界的复杂度和多样性,决定了真机采集,永远覆盖不完所有场景。
必须让模型具备主动「造数据」的能力。
在掌握有限真实分布的前提下,合成大量高可用的训练数据,尤其是那些现实中极难采集到、却决定可靠性和安全性的场景。
U0做的事情,本质上正是把「数据采集」从一个物理问题,变成了一个生成问题。
这个范式转换如果被验证成功,影响会非常深远。
Digital AI和Physical AI之间的次元壁,似乎也正在被小米打破。
从技术路线来看,U0选择的是统一架构而非专用模型。
一个模型覆盖四类生成任务,保留了预训练世界模型的泛化能力,同时适配到具身场景。
这种大一统的思路在成本上更有优势,也更容易规模化。
但从工程角度看,统一架构的维护和优化难度更高,需要在不同任务之间做权衡。
从行业格局来看,小米连续开源两个模型:一个管执行,一个管数据,正在搭建一套完整的技术栈。
如果这套体系被社区广泛采用,小米在具身智能领域的影响力会从一家公司扩展成一个生态的核心。
这种生态位一旦形成,后来者想要挑战的成本会非常高。
从更长的时间尺度来看,具身智能最终要解决的,是机器人在开放世界中的泛化能力。
U0在视频生成上展现出的泛化性让我很惊喜:
面对完全没见过的初始帧和指令,仍能准确遵循指令生成视频,保持物体材质、动力学和背景一致性。
这说明模型在保留世界知识的基础上,注入了机械臂动力学和物体交互模式。
这种「世界模型+具身生成」的结合,可能是通往通用机器人智能的一条重要路径。
开源链接放在这里,很值得去看看。
也许这背后,就藏着一个百亿级别的具身数据行业机会。
项目主页: https://robotics.xiaomi.com/xiaomi-robotics-u0.html
GitHub: https://github.com/XiaomiRobotics/Xiaomi-Robotics-U0
HuggingFace: https://huggingface.co/collections/XiaomiRobotics/xiaomi-robotics-u0
代码和权重都在那,是骡子是马,拉出来跑跑就知道了。
朋友圈会发一些具体的案例和商业化日常~