日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

移動マニピュレーションarXiv:2602.23024

InCoM: 意図駆動型知覚と構造的協調による移動マニピュレーション

InCoM: Intent-Driven Perception and Structured Coordination for Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

移動マニピュレーションにおいて、潜在的な動作意図を推定して知覚注意を段階的に配分し、ベースとアームの動作を分離して協調生成するフレームワークを提案。シミュレーションと実機で成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

- モバイルマニピュレーションのための意図駆動型知覚と構造的協調のフレームワーク InCoM を提案。 - 移動ベースとマニピュレータの協調制御と、動的に変化する視点下でのロバストな知覚を両立させる。 - 潜在的な運動意図を推論し、マルチスケール知覚特徴を動的に再重み付けして段階適応的な知覚注意配分を実現。 - 幾何・意味構造アラインメント機構によりクロスモーダル知覚の対応を強化。 - 分離協調フローマッチング行動デコーダでベース・アームの協調行動生成を明示的にモデル化。

2. 先行研究と比べてどこがすごい?

- 既存手法はベースとアームの行動の強い結合が制御最適化を複雑化し、視点移動に伴う知覚注意配分が不適切になりがち。 - InCoM は意図推論に基づく知覚注意の段階適応的配分と、分離協調フローマッチングによりこれらの課題を緩和。 - 特権情報なしで ManiSkill-HAB の3シナリオにおいて成功率を 28.2%、26.1%、23.6% 向上させ、最先端手法を大幅に上回る。 - 実世界のモバイルマニピュレーションタスクでも既存ベースラインより優れた成功率を維持。

3. 技術・手法の肝は?

- 潜在運動意図を推論し、マルチスケール知覚特徴を動的に再重み付けして段階適応的な知覚注意配分を実現。 - 幾何・意味構造アラインメント機構を組み込み、クロスモーダル知覚の対応を強化。 - 分離協調フローマッチング行動デコーダを設計し、ベース・アームの協調行動生成を明示的にモデル化。 - これにより制御結合に起因する最適化困難を軽減。

4. どうやって有効だと検証した?

- ManiSkill-HAB の3シナリオで特権情報なしに評価し、成功率が 28.2%、26.1%、23.6% 向上。 - 実世界のモバイルマニピュレーションタスクでも検証し、既存ベースラインより高い成功率を維持。 - 詳細な実験設定やベースラインの具体名は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、実世界での汎化性に関する議論は要旨に記載なし。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として ManiSkill-HAB ベンチマーク、flow matching を用いた行動生成、クロスモーダルアラインメント、モバイルマニピュレーションの協調制御に関する論文が次に読むべき候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiahao Liu, Cui Wenbo, Zhongpu Xia, Yongliang Wang, Haoran Li, Dongbin Zhao

分類: cs.RO

原文アブストラクト

Mobile manipulation is a fundamental capability for general-purpose robotic agents, requiring both coordinated control of the mobile base and manipulator and robust perception under dynamically changing viewpoints. However, existing approaches face two key challenges: strong coupling between base and arm actions complicates control optimization, and perceptual attention is often poorly allocated as viewpoints shift during mobile manipulation. We propose InCoM, an intent-driven perception and structured coordination framework for mobile manipulation. InCoM infers latent motion intent to dynamically reweight multi-scale perceptual features, enabling stage-adaptive allocation of perceptual attention. To support robust cross-modal perception, InCoM further incorporates a geometric-semantic structured alignment mechanism that enhances multimodal correspondence. On the control side, we design a decoupled coordinated flow matching action decoder that explicitly models coordinated base-arm action generation, alleviating optimization difficulties caused by control coupling. Experimental results demonstrate that InCoM significantly outperforms state-of-the-art methods, achieving success rate gains of 28.2%, 26.1%, and 23.6% across three ManiSkill-HAB scenarios without privileged information. Furthermore, its effectiveness is consistently validated in real-world mobile manipulation tasks, where InCoM maintains a superior success rate over existing baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI