梦2流：利用3D物体流桥接视频生成和开放世界操作

于红博

摘要: 生成式视频建模已经成为一种强大的工具，可以对开放世界操作中的合理物理交互进行零样本推理。然而，将这种由人类引导的运动转化为机器人系统所需的低级动作仍然是一项挑战。我们观察到，在给定初始图像和任务指令的情况下，这些模型在合成合理的物体运动方面表现出色。因此，我们引入了Dream2Flow，这是一个通过3D物体流作为中间表示桥接视频生成和机器人控制的框架。我们的方法从生成的视频中重建3D物体运动，并将操作形式化为物体轨迹跟踪。通过将状态变化与实现这些变化的执行器分离，Dream2Flow克服了实体差距，并实现了从预训练视频模型到操作各种类别物体（包括刚性、关节、可变形和颗粒）的零样本指导。通过轨迹优化或强化学习，Dream2Flow将重建的3D物体流转化为可执行的低级命令，无需特定任务的演示。模拟和真实世界实验突显了3D物体流作为将视频生成模型适应开放世界机器人操作的通用和可扩展接口。视频和可视化可在https://dream2flow.github.io/上找到。

更新时间: 2025-12-31 10:25:24

领域: cs.RO,cs.AI,cs.CV

下载: http://arxiv.org/abs/2512.24766v1