日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2506.06199

3DFlowAction: 3Dフローワールドモデルから身体性を超えたマニピュレーションを学習

3DFlowAction: Learning Cross-Embodiment Manipulation from 3D Flow World Model

シェア:XThreadsFacebookLINEはてブBluesky

人間とロボットの操作データから3D空間での物体の動きを予測するワールドモデルを学習し、言語指示に基づく3Dフローを生成してロボットの操作計画を導く手法を提案。

詳しい要約

1. どんなもの?

- ロボットの manipulation のための新しい枠組み「3DFlowAction」を提案する研究。 - 人間とロボットの manipulation データから 3D flow world model を学習し、対象物体が 3D 空間で将来どう動くかを予測する。 - 予測された 3D optical flow を言語指示に条件づけて生成し、それを用いて action planning を行う。 - 大規模 3D optical flow データセット「ManiFlow-110k」を moving object auto-detect pipeline で合成する。 - 多様な manipulation タスクへの汎化と、ハードウェア固有の訓練なしでの cross-embodiment 適応を示す。

2. 先行研究と比べてどこがすごい?

- 既存のロボットデータセットは、異なる action space で単純な scene の robot action を記録しており、多様な scene・異なるロボットに対する統一で頑健な action representation の学習を妨げていた。 - 本研究は、物体が 3D 空間でどう動くべきかの理解を embodiment-agnostic な手がかりとして用いる点が新しい。 - 人間とロボット両方の manipulation データから 3D flow world model を学習する点が先行研究と異なる。 - 大規模 3D optical flow データセット ManiFlow-110k を合成する点も特徴。 - 予測 3D flow を最適化 policy の制約として用い、closed-loop planning を可能にする点が先行研究に対する利点。

3. 技術・手法の肝は?

- moving object auto-detect pipeline により大規模 3D optical flow データセット ManiFlow-110k を合成する。 - video diffusion-based world model がこれらのデータから manipulation physics を学習し、言語指示に条件づけて 3D optical flow trajectory を生成する。 - flow-guided rendering mechanism により予測された最終状態を render し、GPT-4o で予測 flow がタスク記述と整合するか評価する。 - これによりロボットに closed-loop planning 能力を与える。 - 予測 3D optical flow を制約として optimization policy を用い、manipulation のための robot action の chunk を決定する。

4. どうやって有効だと検証した?

- 多様な robotic manipulation タスクにおいて強い汎化性能を示す広範な実験を行う。 - ハードウェア固有の訓練なしで信頼性の高い cross-embodiment 適応を示す。 - 具体的なタスク名・評価指標・比較手法・データセット規模の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 予測 3D flow と GPT-4o による評価の限界や、ManiFlow-110k の合成データの品質・偏りについては要旨では議論されていない。 - cross-embodiment 適応の範囲や失敗ケースについても要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、video diffusion-based world model、3D optical flow 推定、flow-guided rendering、GPT-4o を用いた評価、optimization policy による action planning が挙げられる。 - 同分野の定番として、robot manipulation の imitation learning、cross-embodiment learning、world model に基づく planning の文献を次に読むべき候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongyan Zhi, Peihao Chen, Siyuan Zhou, Yubo Dong, Quanxi Wu, Lei Han, Mingkui Tan

分類: cs.RO, cs.CV

原文アブストラクト

Manipulation has long been a challenging task for robots, while humans can effortlessly perform complex interactions with objects, such as hanging a cup on the mug rack. A key reason is the lack of a large and uniform dataset for teaching robots manipulation skills. Current robot datasets often record robot action in different action spaces within a simple scene. This hinders the robot to learn a unified and robust action representation for different robots within diverse scenes. Observing how humans understand a manipulation task, we find that understanding how the objects should move in the 3D space is a critical clue for guiding actions. This clue is embodiment-agnostic and suitable for both humans and different robots. Motivated by this, we aim to learn a 3D flow world model from both human and robot manipulation data. This model predicts the future movement of the interacting objects in 3D space, guiding action planning for manipulation. Specifically, we synthesize a large-scale 3D optical flow dataset, named ManiFlow-110k, through a moving object auto-detect pipeline. A video diffusion-based world model then learns manipulation physics from these data, generating 3D optical flow trajectories conditioned on language instructions. With the generated 3D object optical flow, we propose a flow-guided rendering mechanism, which renders the predicted final state and leverages GPT-4o to assess whether the predicted flow aligns with the task description. This equips the robot with a closed-loop planning ability. Finally, we consider the predicted 3D optical flow as constraints for an optimization policy to determine a chunk of robot actions for manipulation. Extensive experiments demonstrate strong generalization across diverse robotic manipulation tasks and reliable cross-embodiment adaptation without hardware-specific training.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI