RynnWorld-Teleop团队 投稿

量子位 | 公众号 QbitAI

往机器人身上装一台相机，自己戴上手套做动作，让机器人跟着动——这就是当前做机器人训练数据的方式：物理遥操作。

每一条数据，都得靠真人操作员、真实机器人、真实时间，一条一条“演示”出来。

慢。贵。累。

能否将操作员从真机中解放出来，使数据采集的边界取决于人的创造力，而非硬件的可用性？

阿里巴巴达摩院的最新工作RynnWorld-Teleop对此给出的方案是：用生成式世界模型替代真实机器人。

操作员的手势驱动一个实时视频生成器，由“数字世界中的机器人”完成全部视觉演示，同时自动获得关节级的动作标签。该方案被称为数字遥操作（Digital Teleoperation）。

在双臂灵巧手上的真机实验表明，仅用RynnWorld-Teleop生成的数据训练策略，就能在真机上实现有效的零样本Sim2Real迁移；把合成数据叠加到真实数据上，还能稳定提升成功率。代码、模型权重均已开源。

数字遥操作：以世界模型替代真实机器人

△物理遥操作（上）与数字遥操作（下）的对比。数字遥操作用RynnWorld-Teleop替换真实机器人，两条流水线都产出同步的（视觉观测，机器人动作）对。

数字遥操作与传统遥操作的本质区别，可以从数据链路上加以厘清。

传统物理遥操作的流程为：操作员通过遥操设备做出动作示范，真机实时跟随执行并同步录制关节状态，机载摄像头拍下画面，最终得到（视觉观测，关节动作）对。在整条链路中，真机是不可替代的环节。

数字遥操作则以生成式世界模型替代真机：人的手势驱动世界模型，世界模型实时合成“若机器人执行该手势，其第一人称摄像头将观测到的画面”，而手势本身通过retargeting直接转化为关节动作标签。最终输出同样是（视觉观测，关节动作）对，区别仅在于观测来自生成器而非真实摄像头。

这一替换在形式上简洁，但要真正成立，世界模型必须同时满足三个条件。

• 第一，以机器人为中心。生成的画面必须是机器人第一人称视角，而非人手画面，否则下游模仿学习策略因视觉分布不匹配而无法使用。现有的动作控制世界模型 （如Hand2World、EgoSim等）大多仍停留在以人手为中心的阶段。

• 第二，动作可回溯。每一帧生成画面背后的底层动作信号，必须能够还原为具体的机器人关节角度。若动作仅是隐式的latent变量、缺乏对应的关节级标签，则生成视频只能观看而无法用于训练。

• 第三，实时可交互。操作员需要在观测画面的同时进行操作，于闭环中完成复杂技能。当生成延迟超过200ms时，操作员将丧失对场景的控制感，采集数据的质量随之下降。当前多数DiT生成模型的推理速度处于2–10FPS，难以支撑实时交互。

RynnWorld-Teleop是首个同时满足上述三个条件的系统。为了满足这些需求，研究团队设计了多项核心技术。

三项核心设计：应对深度模糊、本体鸿沟与实时性

△RynnWorld-Teleop总览。动作被渲染为深度感知骨骼视频并编码进隐空间；预训练视频DiT通过分布对齐的patch embedding分支引入手势条件；模型再被蒸馏为因果学生以支持流式自回归生成。设计一：深度感知的动作特征，让2D骨骼承载3D信息

操作员的手势经手部追踪设备捕获，得到21个关节点的3D坐标；而世界模型的主干是2D视频生成器，无法直接将3D点坐标输入图像隐空间。

常见做法是将3D关节投影为2D骨骼图后再输入，其局限在于投影会丢失深度信息。人手在相机前方20cm与40cm处做同一抓取动作，2D投影可能几乎相同，而生成画面本应存在明显差异。

RynnWorld-Teleop采用深度感知骨骼渲染（Depth-Aware Skeletal Rendering），将深度编码进骨骼图的视觉属性：每个关节的颜色与绘制半径随其到相机的距离动态变化，距离近者颜色偏暖、半径较大，距离远者颜色偏冷、半径较小。由此，尽管仍是一张2D图像，深度信息已被显式编码进颜色通道与尺寸通道，世界模型可通过学习从这些视觉线索中还原三维空间关系。

渲染后的骨骼序列被送入预训练VAE编码器，映射到与目标视频在空间和时间维度上对齐的隐空间。为避免该控制信号破坏预训练视频模型的分布，作者采用分布对齐的加性融合策略：先进行均值-方差对齐，再通过初始化为0的gate渐进注入。消融实验表明，该方案显著优于直接拼接——拼接会使FVD（衡量生成视频与真实视频分布差异的指标，越低越好）从585恶化至1191。

设计二：渐进式跨域训练，先学人手物理，再迁移到机器人

世界模型需要生成的是机器人第一人称视频，但现实中带有精细骨骼标注的大规模机器人操作数据十分稀缺，而人类第一人称操作视频则相对充裕——EgoDex有7400万帧，VITRA有3070万帧。

RynnWorld-Teleop采用渐进式跨域训练（Progressive Cross-Domain Training），分两个阶段进行。

• 阶段一：第一人称人类视频预训练。在大规模人类第一人称操作视频上训练，使模型掌握“手势到手-物交互视觉效果”的基本物理规律。该阶段数据量级超过1亿帧，覆盖大量不同物体与交互模式。此时模型尚不了解机器人的外观，但已习得物理世界中物体对手部接触的响应规律。

• 阶段二：机器人域适配。收集1800条配对的人机遥操作数据（同步记录人手骨骼与机器人第一人称视角）并在此基础上微调。该阶段数据量级较小（约43万帧），但由于第一阶段已建立交互先验，模型能够快速适配机器人的视觉外观与运动学特征。

消融实验具有较强说服力：跳过阶段一、直接在机器人数据上训练，FVD从585升至2598——43万帧不足以让模型从零学会手-物交互的物理规律，却足以在1亿帧预训练基础上完成风格迁移。该路线的核心逻辑在于：先在大数据上学习物理规律，再在小数据上适配视觉外观。

△RynnWorld-Teleop的生成效果展示。手势流可映射到人类与机器人两种本体；模型把大规模人类视频中的交互先验成功迁移到机器人操作，画面保持高保真与时序一致。设计三：流式自回归蒸馏，从2.8FPS到40FPS的实时化

基于Wan2.2训练的模型是一个双向注意力的视频扩散Transformer，生成质量高但推理速度仅为2.8 FPS，而实时交互至少需要30 FPS，两者相差约一个数量级。

RynnWorld-Teleop采用流式自回归蒸馏（Streaming Autoregressive Distillation），将双向教师蒸馏为因果学生——学生模型的注意力被约束为“仅关注过去”（因果掩码与KV Cache），使每生成一帧仅需一次前向推理，而无需重新处理全部历史帧。

蒸馏分两步进行：第一步为因果流匹配预热（Causal Flow-Matching Warm-up），使学生模型先适应“仅关注过去”的约束；第二步为分布匹配蒸馏（DMD），通过对抗训练使学生的输出分布逼近教师，并将采样步数从50步压缩至4步。

一个关键的工程细节在于：DMD阶段的梯度不仅在当前chunk内回传，还会跨chunk穿过KV Cache传播，从而保证相邻chunk之间的边界不出现突变，避免长视频生成中出现明显的接缝。

最终的因果学生模型在480×832分辨率下达到40FPS，每帧延迟约25ms。该延迟优于真实机器人相机30Hz的标准采集频率，意味着操作员在数字遥操作过程中不会感受到可察觉的延迟。

从手势到训练数据：数字遥操作的完整流水线

世界模型仅是引擎，要将其转化为能够产出可训练数据的系统，还需要一条完整的流水线。RynnWorld-Teleop的数据生成流程分为三步。

• Retargeting（动作映射）：操作员佩戴HTC Vive追踪器，系统实时捕获其6-DoF手部姿态，通过坐标系变换与阻尼最小二乘逆运动学求解器，映射为机器人的54维关节动作向量 （双7-DoF手臂与双20-DoF灵巧手）。该步骤确保人手的每个动作都有一一对应的机器人动作标签。

• 骨骼条件合成（Skeletal-Conditioned Synthesis）：以一张场景参考图为起点，操作员手势被渲染为深度感知骨骼序列，驱动世界模型实时生成机器人第一人称视频。该环节具备重要的扩展性：参考图不必来自真实场景，通过图像编辑工具替换其中的物体或背景，即可生成训练集中未出现过的场景数据。

• 分块重锚定（Chunked Re-anchoring）：纯自回归生成容易出现视觉漂移，即随时间推移生成画面逐渐偏离真实物理状态。RynnWorld-Teleop以81帧为一个chunk，在chunk边界处用真实帧重新初始化模型，以确保长时间演示的物理一致性。

△对分布外（OOD）视觉状态的泛化。替换参考图中的物体（上）或背景（下），RynnWorld-Teleop依然保持时序一致与物理合理的动力学。

该流水线的一个显著特性是“场景即参考图”：若需机器人在大理石桌面上操作，只需更换参考图；若需其抓取训练时未见过的物体，编辑参考图中的物体即可。论文展示了未见物体与未见背景两类域外泛化实验，在两种设定下模型均能保持时序一致性并忠实执行动作轨迹。这表明数字遥操作的数据多样性，理论上仅受限于操作员的构思与图像编辑的能力。

关键实验：合成数据能否训练出可用策略

世界模型生成的视频即使视觉效果出色，若无法训练出有效策略，其价值也将局限于视频生成本身。RynnWorld-Teleop需要回答的核心问题是：纯合成数据能否直接支撑机器人完成任务。

实验平台为配备双TIANJI M6手臂与双WUJI灵巧手的真实机器人系统（共计54自由度），评测的四个任务覆盖双臂协调的不同难度：双物抓取（Dual Picking）、积木推动（Block Pushing）、双臂举起（Bimanual Lifting）与盖盖子（Lid Placement）。每个任务测试35次，初始状态完全随机。

结论一：零真机数据即可训练出可用策略

△真机策略成功率（%）。加入RynnWorld-Teleop合成数据后，多数任务成功率一致提升；π0甚至可在零真机数据下完成任务。

最值得关注的结果来自π0模型：在完全不使用任何真机数据、仅用300条RynnWorld-Teleop生成轨迹训练的情况下，Block Pushing任务成功率达到82.86%，Bimanual Lifting达到77.14%。这表明合成数据包含了足够的物理信息，能够支撑策略的Sim2Real迁移。

结论二：合成数据与真机数据结合可稳定提升成功率

在全部三个测试策略（Diffusion Policy、π0.5、π0）上，用300条真机数据与300条合成数据训练，几乎在所有任务上都优于仅用300条真机数据。提升最显著的是精度要求最高的Lid Placement任务：π0.5从42.86%提升至62.86%，π0从34.29%提升至54.29%，均为+20个百分点。这说明RynnWorld-Teleop生成的数据不会干扰真实数据的分布，反而能通过增加多样性弥补真实数据的不足。

结论三：合成与真实轨迹的特征分布高度重合

△t-SNE可视化观察到RynnWorld-Teleop合成的数据，在特征分布上与真机数据高度重合。

使用预训练I3D提取合成轨迹与真实轨迹的高层特征并进行t-SNE可视化，两者的分布大面积重叠。这从特征层面解释了合成数据能够有效用于策略训练的原因：世界模型不仅在像素层面逼真，在语义与动力学层面也忠实还原了真实世界的分布。

世界模型本身的定量评测

△RynnWorld-Teleop的生成能力定量结果，报告视觉质量指标与推理速度。

在生成质量方面，RynnWorld-Teleop在EgoDex-Test基准上全面超越同类方法。相比最强的动作控制基线InterDyn，PSNR提升超过5dB，LPIPS降低57%。在相同数据上直接微调Wan模型（SFT）的FVD为1223，而RynnWorld-Teleop仅为550——该对比表明，深度感知骨骼表征与分布对齐加性融合这两项设计，是拉开性能差距的关键。因果蒸馏后的模型在保持良好视觉质量的同时，将推理速度从2.8FPS提升至40FPS，实现了可用的实时交互。

与传统仿真器的对比：数字遥操作的优势

一个自然的疑问是：Isaac Sim、MuJoCo等现成仿真器同样能够生成数据，为何还需要世界模型。二者的差异主要体现在资产、域差与物理三个方面。

• 资产开销。传统仿真器要求每个物体都具备精确的3D模型与URDF文件，构建一个新场景可能需要数天建模。RynnWorld-Teleop的输入仅为一张照片，可以直接从拍摄图像开始。

• 视觉域差。仿真渲染与真实世界之间始终存在真实感差距，表现为光照、材质与传感器噪声的不一致，弥补该差距需要大量的domain randomization。RynnWorld-Teleop直接在真实世界的像素分布上生成图像，其本身即在真实视频上训练，天然不存在此问题。

• 隐式物理。仿真器需要为每种材质手动设定摩擦系数与弹性参数，处理可形变物体 （如布料、食物）时更为困难。RynnWorld-Teleop通过在海量人类操作视频上的预训练，隐式吸收了物理世界的常识，无需显式指定物体的软硬等属性，即可从数据中习得。

需要指出的是，数字遥操作并非适用于所有场景。对于需要精确物理仿真的任务（如高速碰撞、流体模拟），传统仿真器仍不可替代；但对于大规模、多样化的操作数据生成，数字遥操作提供了一条成本显著更低的路径。

展望：机器人数据生成的新思路

RynnWorld-Teleop所引领的数字遥操作范式重新定义了机器人数据的来源。站在今天回望，具身智能最大的瓶颈始终是“数据从哪来”：从依赖真机的物理遥操作，到跨过视觉鸿沟的人到机器人翻译，再到今天以机器人为中心、动作可回溯、实时可交互的数字遥操作，每一步都让数据采集离物理硬件的束缚更远一点。而它最关键的一步已经被实验证明——世界模型生成的数据，真的能训出在真机上可用的策略。

当然，前路仍有值得探索的方向：复杂物理现象（如流体、高度可形变物体）的生成还不够可靠，跨机器人本体的泛化也仍需逐平台微调。未来，围绕数字遥操作这一思路，如何进一步提升生成质量、扩大规模、覆盖更多场景，值得持续期待。更长远看，当机器人数据也能像文本、图像那样低成本、大规模地生成，具身智能或许就迎来了属于自己的数据Scaling时刻——正如互联网规模的语料点燃了语言模型的能力跃迁，一个可无限扩展的数字数据引擎，很可能成为通往物理世界通用智能（Physical AGI）的关键燃料。

论文标题：RynnWorld-Teleop: An Action-Conditioned World Model for Digital Teleoperation

arXiv：https://arxiv.org/abs/2607.06558

项目主页：https://alibaba-damo-academy.github.io/RynnWorld-Teleop.github.io

Github：https://github.com/alibaba-damo-academy/RynnWorld-Teleop