日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2506.19842

ManiGaussian++:階層的ガウス世界モデルによる汎用ロボット両腕マニピュレーション

ManiGaussian++: General Robotic Bimanual Manipulation with Hierarchical Gaussian World Model

シェア:XThreadsFacebookLINEはてブBluesky

両腕ロボットのマルチタスク操作のため、役割の異なる腕を区別するガウス表現とリーダー・フォロワー型の階層的世界モデルを導入し、時空間ダイナミクスを予測して性能を向上させた。

詳しい要約

1. どんなもの?

- 多タスクのロボット両腕マニピュレーションを対象とした研究 - 単腕向けの既存手法 ManiGaussian を両腕系へ拡張した ManiGaussian++ を提案 - 階層的 Gaussian world model により multi-body の時空間ダイナミクスを扱う - 10 のシミュレーションタスクと 9 の実世界タスクで評価

2. 先行研究と比べてどこがすごい?

- 既存の ManiGaussian は単腕設定向けで、複数 embodiment の相互作用を無視 - 両腕系では性能が大きく低下するという課題があった - 提案手法は acting arm と stabilizing arm を区別して multi-body 時空間ダイナミクスをモデル化 - 10 のシミュレーションタスクで現行 SOTA の両腕マニピュレーション手法を 20.2% 上回る - 9 の実世界タスクで平均 60% の成功率を達成

3. 技術・手法の肝は?

- 中間視覚特徴から task-oriented Gaussian Splatting を生成 - acting arm と stabilizing arm を区別し、multi-body 時空間ダイナミクスをモデル化 - leader-follower アーキテクチャの階層的 Gaussian world model を構築 - 将来の scene prediction を通じて中間視覚表現に multi-body 時空間ダイナミクスを織り込む - leader が stabilizing arm の運動による Gaussian Splatting の変形を予測 - follower が acting arm の動きから生じる物理的帰結を生成

4. どうやって有効だと検証した?

- 10 のシミュレーションタスクで評価し、現行 SOTA の両腕マニピュレーション手法を 20.2% 上回る改善を確認 - 9 の実世界タスクで評価し、平均 60% の成功率を達成 - コードを https://github.com/April-Yz/ManiGaussian_Bimanual で公開

5. 議論はある?

- 要旨からは不明 - ただし両腕系における multi-body 時空間ダイナミクス理解の重要性と、単腕手法の限界が動機として述べられている

6. 次に読むべき論文は?

- ManiGaussian(単腕向けの基盤手法) - Gaussian Splatting 関連手法 - world model を用いたロボットマニピュレーション研究 - 両腕マニピュレーションの SOTA 手法(要旨では具体名の明示なし)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tengbo Yu, Guanxing Lu, Zaijia Yang, Haoyuan Deng, Season Si Chen, Jiwen Lu, Wenbo Ding, Guoqiang Hu, Yansong Tang, Ziwei Wang

分類: cs.RO, cs.AI

原文アブストラクト

Multi-task robotic bimanual manipulation is becoming increasingly popular as it enables sophisticated tasks that require diverse dual-arm collaboration patterns. Compared to unimanual manipulation, bimanual tasks pose challenges to understanding the multi-body spatiotemporal dynamics. An existing method ManiGaussian pioneers encoding the spatiotemporal dynamics into the visual representation via Gaussian world model for single-arm settings, which ignores the interaction of multiple embodiments for dual-arm systems with significant performance drop. In this paper, we propose ManiGaussian++, an extension of ManiGaussian framework that improves multi-task bimanual manipulation by digesting multi-body scene dynamics through a hierarchical Gaussian world model. To be specific, we first generate task-oriented Gaussian Splatting from intermediate visual features, which aims to differentiate acting and stabilizing arms for multi-body spatiotemporal dynamics modeling. We then build a hierarchical Gaussian world model with the leader-follower architecture, where the multi-body spatiotemporal dynamics is mined for intermediate visual representation via future scene prediction. The leader predicts Gaussian Splatting deformation caused by motions of the stabilizing arm, through which the follower generates the physical consequences resulted from the movement of the acting arm. As a result, our method significantly outperforms the current state-of-the-art bimanual manipulation techniques by an improvement of 20.2% in 10 simulated tasks, and achieves 60% success rate on average in 9 challenging real-world tasks. Our code is available at https://github.com/April-Yz/ManiGaussian_Bimanual.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI