小米开源Xiaomi-Robotics-U0:机器人训练数据,也开始“工厂化生产”了
创始人
2026-07-16 22:31:08

    7月15号,小米把Xiaomi-Robotics-U0开源了。

    这是一个380亿参数的多模态自回归具身生成模型。

    首次将多项具身世界建模能力与通用图像生成能力,统一到一套多模态自回归架构中,为机器人训练数据的生成、迁移和扩增提供统一底座。

    给我一个很强的信号是:具身智能终于也迎来了「GPT-Image时刻」。

    项目主页:https://robotics.xiaomi.com/xiaomi-robotics-u0.html

    之前打开项目主页和GitHub仓库,把技术报告从头到尾翻了一遍。

    这一个模型,能完成三类具身任务:具身场景生成(文生图)、具身迁移(图像编辑)、机器人交互视频生成;

    还具备通用文生图和图像编辑能力。

    几项能力拼在一起,就构成了一条完整的数据生产流水线。

    所有输出都能直接喂给下游策略模型做训练,不需要人工干预,不需要重新采集。

    说是「具身数据工厂」也不为过:低成本、高效率、可控生成……

    这套链路跑通之后,具身智能的数据瓶颈就多了一个解法。

    01U0在做的,是一个可控、高效、低成本的「具身数据工厂」

    不像LLM可以用互联网上海量的文本数据,机器人的数据,来自真实物理世界。

    行业里有个测算:训练机器人学会一个动作,大概需要1000到5000条数据;

    学会一个由多个动作组成的任务,需要1万到2万条数据;

    完成某个垂直行业80%的人类工作,至少需要1亿条数据。

    图片引自:Xiaomi-Robotics-U0: Unified Embodied Synthesis with World Foundation Model

    1亿条,每条都得是真实物理世界里的操作记录。

    单纯扩大采集规模,成本会线性上涨……采集本身就是钱,存储是钱,清洗标注是钱,训练是钱。

    Xiaomi-Robotics-U0要解决的核心问题,就是如何低成本地生产有效数据。

    它做的事可以这样理解:基于少量真实数据,用模型可控地放大成大规模的训练数据。

    过去具身生成是「一个任务一个模型」。

    场景生成用一个,轨迹迁移用一个,视频生成再用一个。模型之间彼此割裂,很难规模化。

    U0实验视频

    U0用统一的多模态自回归框架,把四类任务全部覆盖:

    具身场景生成、具身迁移、机器人交互视频生成,外加通用的文生图和图像编辑。

    这种统一架构,创新的难点在于,场景生成、轨迹迁移、视频生成这三类任务对模型的要求本质上相互冲突——一个要空间想象力,一个要几何约束力,一个要时序连贯性,硬塞进同一个模型里,搞不好就哪个都做不好。

    U0的核心突破,是把图像和动作映射到同一个表示空间,用统一的next token prediction方式训练,再通过五维解耦的结构化控制让不同任务各取所需、互不干扰。

    这样一来,场景生成的结果可以直接喂给迁移做增广,迁移后的数据又能作为视频生成的初始帧,数据在同一个模型里自动流转,形成一条完整的数据生产线,维护成本和开发门槛,都比维护三个独立模型低得多。

    具身场景生成,是会根据文本描述,生成指定机器人的多视角初始场景;

    具身迁移,是把已有轨迹迁移到新环境,改变光照、背景、物体等,同时保持机械臂位姿和布局一致;

    机器人交互视频生成,则是基于初始观测和指令生成连贯动作视频,支持零样本泛化;

    以及通用文生图与图像编辑,和单纯的视觉模型不一样,这是将互联网视觉知识迁移到具身任务。

    一个模型,从初始场景到各种延伸,完成多种生成任务,定制化、场景化、动态化,为机器人训练提供可控、可扩展的合成数据。

    很创新的价值在于:对已有的真机数据,可以换物体、换光照、换背景、加干扰,全部通过语言描述完成,不需要重新采集。

    也能从零生成全新的场景,覆盖那些真机根本采集不到的危险环境、极端条件、长尾场景。

    但这里面有个关键问题:通用图像生成模型也能做类似的事情,为什么不能用?

    因为具身生成,和通用图像生成有本质区别。

    通用图像生成只需要看起来合理就行。

    但机器人训练数据必须在几何上严格一致:同一个物体在不同相机视角下的位置必须对齐,机械臂的位姿不能因为换了背景就发生错位。

    如果数据在几何上不一致,下游的机器人策略,根本没法用。

    U0解决这个问题的办法是,「五维解耦的结构化控制」。

    把生成过程分解成五个维度:工作台布局、前景操作物体、前景无关杂物、光照条件、背景信息。

    每个维度都可以用自然语言独立调控。

    比如说:“把光照改成夕阳,背景换成厨房,其他不变”,模型就能精准执行,同时保持多视角的几何一致性。

    这种可控性是统一架构能用的前提。

    而最让我觉得欣喜的,是U0已经开源,为整个行业,提供了一座统一、可控、高效的「具身数据工厂」。

    这也将进一步推动机器人训练数据,从分散生成走向规模化生产,推动机器人训练效率及规模化落地。

    02实战数据,比榜单更有说服力

    WorldArena的排名也值得一提。

    这是清华大学、北京大学等联合打造的评测基准。

    U0在全球126个参评模型中拿了总分第一,指令遵循、交互质量、视角一致性三个子项都是第一。

    关键是,U0可以生成连贯的抓取、放置、形变交互长时序视频,还支持虚拟相机运动仿真——这对于机器人策略的离线验证和场景预演,很有广泛的实用价值。

    匿名代号UNIS,榜单时间是2026年7月15日。

    但我更关注的是真机验证的结果。

    在精细操作(耳机收纳)、可变形物体(毛巾折叠)、长程任务(物品装箱)这三类任务上,团队做了对照实验。

    在未知光照、陌生背景这些分布外场景下,使用U0扩增数据训练的策略,任务完成进度平均提升了26.3%。

    具体数字是:pi_0.5这个基线模型在干扰条件下的任务完成进度从36.9%提升到了63.2%。

    这就意味着,从远远不及格到及格以上;从几乎不可用到可用。称得上是一个milestone了。

    叠毛巾任务对比视频

    这组真机数据,很有现实环境里的验证价值:生成的数据,真能帮机器人干活。

    U0挑的三类任务很有代表性:精细操作、可变形物体、长程任务,覆盖了具身操作的主要难点,哪个都不好对付。

    而且面对反光、彩色灯光这些极端干扰,模型不会卡死,能自校正,再次证明生成数据是真的符合现实环境,是真的能转化成机器人在物理世界里的干活能力。

    这个结果说明,U0生成的数据不只是看起来像,不只能提升视觉多样性,是真的能转化成机器人的实际泛化能力。

    实打实地通过Transfer能力,实现了首个能在复杂光照和强背景干扰下,保留大部分成功率的VLA模型。

    还有一个对比值得注意。

    在300样本的测试集上,U0在深度一致性、结构保真、语义对齐三个维度上大幅超越了GPT-Image-2.0。

    GPT-Image-2.0生成的图片在物体和场景上符合文本描述,但普遍出现跨视图物体错位、空间畸变。

    机械臂的位姿没有被保留,这样的数据对应不回原始轨迹,不能用于下游训练。

    具身迁移效果的对比,很直观:

    灰色框中GPT-Image-2.0生成的结果,场景布局信息不对,机械臂位置也都错了,没保留原始多视角的机械臂位姿。

    导致迁移后的多视角观测无法对应到原始轨迹中的动作信息。

    Xiaomi-Robotics-U0生成的结果,同时做到了保留多视角场景布局和根据描述进行修改,因此可被用于下游数据增广。

    差距不在画质,在几何。

    能够显著对比GPT-Image-2.0有优势,这是挺让我惊喜的。

    03业界福音:速度快,成本低,还开源

    模型再厉害,跑不动也是白搭。

    U0基于多模态自回归架构,采用IBQ作为图像tokenizer。

    传统自回归模型逐token生成,能利用丰富的前驱信息逐步完善图片,但面对高分辨率图片时效率大幅下降。

    小米团队提出了FlashAR+高速推理加速方案。

    在FlashAR文生图适配的基础上扩展,适配了图像编辑、具身迁移等任务,结合vLLM进一步提升效率。

    效果是:1024*1024分辨率的单样本吞吐量从450.77秒每图提升到5.44秒每图,生成效率提升了82.9倍。

    从七分半钟一张图,到五秒多一张图。

    这个速度给我的体感很直观。而且意味着,可以在较少的算力资源上部署使用,也就是说生成大规模训练数据的成本大幅下降。

    对于一个“数据工厂”定位的模型来说,这个速度是关键基础设施级别的优化。

    意味着效率真的上去了,可以低成本、批量化生产可用的机器人数据了。

    关键是,小米这次把代码和模型权重全部开源了。

    项目主页、GitHub仓库、HuggingFace模型权重,全部公开。

    这不是小米第一次在具身智能领域开源。

    今年二月,他们就开源了Xiaomi-Robotics-0,一个47亿参数的VLA模型,核心解决了传统模型推理延迟高、真机动作不连贯的问题。

    GitHub: https://github.com/XiaomiRobotics/Xiaomi-Robotics-0

    在消费级显卡RTX 4090上推理延迟压到80毫秒,控制频率达到每秒30次。

    如果说Robotics-0解决的是“机器人怎么动起来”的问题,那U0解决的是“机器人拿什么数据来学”的问题。

    两个模型拼在一起,一条从数据生成到实时执行的完整技术链路正在成型。

    小米在机器人赛道上的策略越来越清晰:不是做封闭的技术堡垒,是把基础设施层的东西开源出来,让更多人能参与。

    这个逻辑在移动互联网时代已经被验证过。

    安卓开源,然后催生了整个移动终端及移动互联网生态。

    机器人赛道要真正爆发,也不能只靠几家大厂自己玩,需要整个生态先活起来。

    从行业竞争的角度看,释放的信号也很明确:机器人赛道的竞争正在从「拼硬件」转向「拼算法」。

    开源生态的建立会加速行业洗牌,没有自研模型能力的硬件厂商,未来可能会面临更大的压力。

    当然,挑战依然存在。仿真和榜单的成绩再漂亮,真机部署时还会遇到各种没见过的状况。

    合成数据能否完全替代真实数据,尤其是在精密操作这类需要精确力控的场景,还需要更长时间验证。

    但U0至少证明了一件事:用生成模型来规模化生产训练数据,这条路是走得通的。

    04一些个人的判断

    我在想,具身智能的数据瓶颈,一定不是靠多买几台机器人、多雇几个采集员能解决的。

    物理世界的复杂度和多样性,决定了真机采集,永远覆盖不完所有场景。

    必须让模型具备主动「造数据」的能力。

    在掌握有限真实分布的前提下,合成大量高可用的训练数据,尤其是那些现实中极难采集到、却决定可靠性和安全性的场景。

    U0做的事情,本质上正是把「数据采集」从一个物理问题,变成了一个生成问题。

    这个范式转换如果被验证成功,影响会非常深远。

    Digital AI和Physical AI之间的次元壁,似乎也正在被小米打破。

    从技术路线来看,U0选择的是统一架构而非专用模型。

    一个模型覆盖四类生成任务,保留了预训练世界模型的泛化能力,同时适配到具身场景。

    这种大一统的思路在成本上更有优势,也更容易规模化。

    但从工程角度看,统一架构的维护和优化难度更高,需要在不同任务之间做权衡。

    从行业格局来看,小米连续开源两个模型:一个管执行,一个管数据,正在搭建一套完整的技术栈。

    如果这套体系被社区广泛采用,小米在具身智能领域的影响力会从一家公司扩展成一个生态的核心。

    这种生态位一旦形成,后来者想要挑战的成本会非常高。

    从更长的时间尺度来看,具身智能最终要解决的,是机器人在开放世界中的泛化能力。

    U0在视频生成上展现出的泛化性让我很惊喜:

    面对完全没见过的初始帧和指令,仍能准确遵循指令生成视频,保持物体材质、动力学和背景一致性。

    这说明模型在保留世界知识的基础上,注入了机械臂动力学和物体交互模式。

    这种「世界模型+具身生成」的结合,可能是通往通用机器人智能的一条重要路径。

    开源链接放在这里,很值得去看看。

    也许这背后,就藏着一个百亿级别的具身数据行业机会。

    项目主页: https://robotics.xiaomi.com/xiaomi-robotics-u0.html

    GitHub: https://github.com/XiaomiRobotics/Xiaomi-Robotics-U0

    HuggingFace: https://huggingface.co/collections/XiaomiRobotics/xiaomi-robotics-u0

    代码和权重都在那,是骡子是马,拉出来跑跑就知道了。

    朋友圈会发一些具体的案例和商业化日常~

    ⚠️
    本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

    相关内容

    热门资讯

    江苏恒健源数字科技有限公司中签... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。当前,以“直播间带...
    骐佰玖汉诺数智数字供应链体系原... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为其他类似股权情景,如有雷同纯属巧合。 随着市...
    智投创富张会长直播间推荐康能生... 本文旨在开展专业投资风险教育与金融反诈科普,不针对任何企业、机构及个人。文中案例均为市场同类股权违规...
    上海海能投顾荐股赚钱吗?大量投...   海能证券投资顾问怎么样?虚假宣传欺诈消费者荐高位股!股民交费炒股真的很后悔!服务费可以退!
    致远投研联盟第七季摇号中签广东... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为其他类似股权情景,如有雷同纯属巧合。当“白酒...
    海南白沙源物茶产业有限公司买茶... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合!“花20万买公司经...
    华兴数字经济研究院郭东老师中签... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。在投资市场鱼龙混杂...
    四川华太新园寓宙讯息科技集团有... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。旨在拆解当下直播间...
    广东酱王国际控股有限公司改名贵... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。“买指定白酒,赠原...
    四川华太新园寓宙讯息科技集团有... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。在投资理财领域,企...
    中酒颐和(深圳)品牌管理有限公... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。 买酒就能成为经销...
    新乡经开区河南有限公司意向合作... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。互联网财经直播的普...
    达亨新能源科技(福建)有限公司... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。在金融投资领域,原...
    华兴数字经济研究院刘宇峰老师广... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。 “买酒、买高山白...
    江苏恒健源数字科技有限公司虫草... 本文仅用于金融投资风险教育、反诈科普使用,不针对任何企业、团队及个人。文中所有情景案例均为模拟推演,...
    中酒颐和(深圳)品牌管理有限公... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。 在股票投资领域,...
    湖南侗都生物科技有限公司“侗红... 本文仅作金融投资风险普法教育使用,不针对任何特定企业、机构及个人。文中所有情景案例均为模拟推演,用于...
    惠创联盟直播间李总直播间深圳市... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。 如今不少投资者习...
    灯塔工会直播间凌峰老师南京中科... 本文仅作金融投资风险普法教育使用,不针对任何单位及个人。文中案例、情景均为模拟推演,用于拆解新型投资...
    刘宇峰老师华兴数字经济研究院直... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。炒股圈出现一种新型...
    旭东老师龙马工会内部群摇号中签... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。近期,各类投资微信...
    华兴数字经济研究院郭东老师中签... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。炒股过程中,不少投...
    湖南侗都生物科技有限公司买侗藏... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。当前,以“直播间带...
    磊石成山袁磊直播间中酒颐和(深... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。当下,“购买指定白...
    红图价值联盟周聪老师推荐浙江五... 本文旨在开展专业投资风险教育与金融反诈科普,不针对任何企业、机构及个人。文中案例均为市场同类股权违规...