日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.06710

時空間認識を組み込んだ視覚運動拡散ポリシー学習

Spatial-Temporal Aware Visuomotor Diffusion Policy Learning

シェア:XThreadsFacebookLINEはてブBluesky

動的ガウス世界モデルを用いて3D空間・4D時空間認識を拡散ポリシーに組み込み、シミュレーションと実機で成功率を向上させた視覚模倣学習手法。

詳しい要約

1. どんなもの?

- 視覚模倣学習の新手法 **4D Diffusion Policy (DP4)** を提案する論文 - diffusion-based policy に 3D 空間・4D 時空間の認識を組み込む - 単一視点の RGB-D 観測から現在の 3D シーンを構築し、将来の 3D シーンを予測 - 軌道生成を空間・時間依存性の明示的モデリングで最適化 - 17 simulation タスク(173 variants)と 3 real-world ロボットタスクで評価

2. 先行研究と比べてどこがすごい?

- 既存手法の多くは supervised historical trajectories を用いた behavior cloning に依存 - そのため 3D 空間・4D 時空間の認識が制限される - DP4 は trajectory cloning ではなく dynamic Gaussian world model を活用 - interactive environments から 3D 空間・4D 時空間の知覚学習を導く点が異なる - 結果として baseline を上回る成功率を報告

3. 技術・手法の肝は?

- diffusion-based policy に spatiotemporal awareness を組み込む - dynamic Gaussian world model を中核に据える - 単一視点 RGB-D 観測から現在の 3D シーンを構築 - 将来の 3D シーンを予測 - 空間・時間依存性を明示的にモデリングして軌道生成を最適化

4. どうやって有効だと検証した?

- 17 simulation タスク(173 variants)で実験 - 3 real-world ロボットタスクで実験 - baseline 手法との比較を実施 - 平均 simulation 成功率の改善: 16.4% (Adroit)、14% (DexArt)、6.45% (RLBench) - 平均 real-world ロボットタスク成功率の改善: 8.6%

5. 議論はある?

- 要旨からは不明 - 限界・失敗事例・計算コスト・dynamic Gaussian world model の詳細な議論は要旨に記載なし

6. 次に読むべき論文は?

- behavior cloning を用いた visual imitation learning の既存研究 - diffusion policy 系の先行研究 - dynamic Gaussian world model 関連研究 - ベンチマーク: Adroit、DexArt、RLBench - 要旨で個別論文名の参照はないため、上記は関連手法・データセット名として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenyang Liu, Yikai Wang, Kuanning Wang, Longfei Liang, Xiangyang Xue, Yanwei Fu

分類: cs.RO

原文アブストラクト

Visual imitation learning is effective for robots to learn versatile tasks. However, many existing methods rely on behavior cloning with supervised historical trajectories, limiting their 3D spatial and 4D spatiotemporal awareness. Consequently, these methods struggle to capture the 3D structures and 4D spatiotemporal relationships necessary for real-world deployment. In this work, we propose 4D Diffusion Policy (DP4), a novel visual imitation learning method that incorporates spatiotemporal awareness into diffusion-based policies. Unlike traditional approaches that rely on trajectory cloning, DP4 leverages a dynamic Gaussian world model to guide the learning of 3D spatial and 4D spatiotemporal perceptions from interactive environments. Our method constructs the current 3D scene from a single-view RGB-D observation and predicts the future 3D scene, optimizing trajectory generation by explicitly modeling both spatial and temporal dependencies. Extensive experiments across 17 simulation tasks with 173 variants and 3 real-world robotic tasks demonstrate that the 4D Diffusion Policy (DP4) outperforms baseline methods, improving the average simulation task success rate by 16.4% (Adroit), 14% (DexArt), and 6.45% (RLBench), and the average real-world robotic task success rate by 8.6%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI