日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

移動操作arXiv:2609.39388

UniWAM:混合ストリーム世界行動モデルと操作アンカーポーズ監督による統合移動操作

UniWAM Technical Report: Unified Mobile Manipulation via Mixed-Stream World-Action Modeling and Manipulation Anchor Pose Supervision

シェア:XThreadsFacebookLINEはてブBluesky

移動と操作を別々の行動エンコーダと出力ヘッドで扱う統合世界行動モデルUniWAMを提案し、大規模3Dシーンから自動生成した操作アンカーポーズ監督データで学習することで、移動操作タスクの精度を大幅に向上させた。

詳しい要約

1. どんなもの?

- モバイルマニピュレーションのための統合モデル UniWAM を提案。 - ナビゲーションとマニピュレーションを別々の action encoder と output head で扱い、共通 backbone を共有する mixed-stream world-action model。 - 独立にサンプリングしたナビゲーションとマニピュレーションのデータで joint representation learning を可能にする。 - 各ストリームの独立推論と、両ストリームの batch-parallel 推論をサポート。 - Manipulation Anchor Pose (MAP) 監督を導入し、操作のための停止位置と向きを学習。 - 大規模 3D シーンから自動パイプラインで MAP-Data を構築し、150万エピソード以上、7,500時間を生成。

2. 先行研究と比べてどこがすごい?

- 従来はナビゲーションとマニピュレーションで action space や視覚要件が異なり、統合ポリシー学習が困難だった。 - 明示的な manipulation-ready pose 監督付きの実世界ナビゲーションデータ収集は高コストでスケールしにくかった。 - UniWAM は mixed-stream 設計により、独立に収集したデータで両タスクを統合学習できる。 - MAP 監督と大規模 MAP-Data により、MAP-Bench で最強の外部ベースラインを位置誤差で 30.1%、方位誤差で 44.0% 上回る。 - 24 の実ロボットタスクで MAP ナビゲーションとモバイルマニピュレーションにおいて最先端の結果を達成。

3. 技術・手法の肝は?

- 共通 backbone を持ち、ナビゲーションとマニピュレーション用に別々の action encoder と output head を備える mixed-stream world-action model。 - 各ストリームの独立推論と、両ストリームの batch-parallel 推論を可能にする設計。 - Manipulation Anchor Pose (MAP) 監督:操作のための停止位置と向きを画像平面上で予測。 - 自動パイプラインで大規模 3D シーンから MAP-Data を構築。 - MAP-Data はフレームごとの対象物体 bounding box と画像平面 MAP 座標を補助ナビゲーション監督として提供。 - マニピュレーション用に投影された end-effector 軌跡も含み、egocentric 観測からの action learning のためのストリーム固有の画像平面監督を実現。

4. どうやって有効だと検証した?

- MAP-Bench において、最強の外部ベースラインと比較して位置誤差で 30.1%、方位誤差で 44.0% の改善を達成。 - 24 の実ロボットタスクで評価し、MAP ナビゲーションとモバイルマニピュレーションで最先端の結果、マニピュレーション性能も競争力があることを示した。 - コード、データ、ベンチマークを公開。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の関連手法として、mobile manipulation の統合ポリシー学習、world-action model、Manipulation Anchor Pose 監督、大規模 3D シーンからのデータ生成に関する研究が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wei Xue, Keliang Liu, Mingzhang Cui, Jinhua Xie, Jinjie Wei, Jianan Hou, Jingcheng Lu, Lintao Wang, Kaixiang Qiu, Yizhou Liu, Xinghai Ye, Jinghang Han, Mingcheng Li, Jie Gu, Shunli Wang, Lihua Zhang, Dingkang Yang

分類: cs.RO, cs.CV

原文アブストラクト

Mobile manipulation requires precise navigation to a manipulation-ready pose followed by reliable object interaction. These two stages differ in action spaces and visual requirements, which complicates unified policy learning. In addition, collecting diverse real-world navigation data with explicit manipulation-ready pose supervision remains costly and difficult to scale. We introduce UniWAM, a unified mixed-stream world-action model with separate action encoders and output heads for navigation and manipulation, sharing a common backbone. This design supports joint representation learning on independently sampled navigation and manipulation data. UniWAM supports independent inference for either stream and batch-parallel inference for both. We further introduce Manipulation Anchor Pose (MAP) supervision for where to stop and how to orient for manipulation. An automated pipeline constructs MAP-Data from large-scale 3D scenes, yielding over 1.5 million episodes and 7,500 hours. MAP-Data provides per-frame target-object bounding boxes and image-plane MAP coordinates as auxiliary navigation supervision. Together with projected end-effector trajectories for manipulation, these prediction targets provide stream-specific image-plane supervision for action learning from egocentric observations. With large-scale MAP-Data, UniWAM outperforms the strongest external baselines on our MAP-Bench by 30.1\% in position error and 44.0\% in heading error. Across 24 real-robot tasks, UniWAM achieves leading results in MAP navigation and mobile manipulation, with competitive manipulation performance. We have released code, data, and benchmark.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI