小米开源 Xiaomi-Robotics-U0：具身领域首个“通吃”四类任务的统一生成模型

7月15日，小米发布了名为Xiaomi-Robotics-U0的模型，这是一个拥有380亿参数的多模态自回归具身生成基础模型。该模型被誉为具身领域首个能够统一处理四类任务的模型，实现了机器人图片和视频数据的生成与编辑功能。

该模型支持以下四类任务：

• 具身场景生成：用户可以通过文本描述，为指定的机器人本体生成多视角的初始场景。无论是桌面、厨房、仓库等常见环境，还是更复杂的开放世界场景，模型都能根据语言指令生成相应的机器人观测。
• 具身迁移：模型可以将已有的机器人轨迹迁移到新的环境中。这意味着可以在改变光照、背景、桌面材质、目标物体或工作区风格的同时，保持原有轨迹中的机械臂位姿和场景布局。
• 机器人交互视频生成：基于初始观测和操作指令，模型能够生成后续的视频。这种生成能够保持动作的连贯性和物理上的合理性，并且可以实现零样本泛化到各种场景。
• 通用文生图和图像编辑：该模型也保留了通用的图像生成和编辑能力，从而能够将互联网上的视觉知识应用于具身智能任务中。

小米方面表示，该模型可以在保持几何一致性的前提下，对现有数据进行增强，例如更换物体、光照、背景或增加干扰，而无需重新采集数据。此外，它还能从零开始生成全新的场景，覆盖危险、极端或长尾等真机难以触及的环境。通过FlashAR+推理加速方案，其生成效率比原始自回归范式提高了近83倍，显著加速了工程落地。这为规模化生成具身训练数据以提升模型效果提供了可控且高效的解决方案。

在WorldArena评测基准上，Xiaomi-Robotics-U0获得了总分第一的成绩，参评模型共有126个。在实际机器人评测中，使用Xiaomi-Robotics-U0扩充数据训练的策略，在未知光照和陌生背景等非分布场景下的任务完成率平均提升了超过26%。

相关的代码和模型权重已全部开源，提供以下链接：

• 项目主页：https://robotics.xiaomi.com/xiaomi-robotics-u0.html
• 代码仓库：https://github.com/XiaomiRobotics/Xiaomi-Robotics-U0
• 模型权重：https://huggingface.co/collections/XiaomiRobotics/xiaomi-robotics-u0
• 魔搭链接：https://modelscope.cn/collections/XiaomiRobotics/