移動マニピュレーション2026/9/10arXiv:2609.12081

MoPA: サブシステム特化型知覚アラインメントによる協調的移動マニピュレーション

MoPA: Coordinated Mobile Manipulation via Subsystem-Specific Perception Alignment

移動とマニピュレーションで異なる知覚表現を二重ストリームで抽出し、行動レベルで協調させるフレームワークを提案。ManiSkill-HABで最高性能、実機でも成功率76.3%を達成。

詳しい要約

1. どんなもの？

- モバイルマニピュレーション（Mobile Manipulation）のための新フレームワーク MoPA を提案。 - 台車移動（base motion）とアーム制御（arm control）は空間スケールの異なる知覚証拠を必要とし、運動学的に結合している。 - 既存方策はサブシステムごとに行動生成を特化させるが、知覚表現は共有しており、サブシステム固有の知覚-行動対応が暗黙的だった。 - MoPA は知覚条件付けを移動と操作に整合させつつ、行動レベルでの協調を保持する。

2. 先行研究と比べてどこがすごい？

- 既存方策は異種の行動ブランチを共有知覚表現に条件付けし、サブシステム固有の知覚-行動対応が暗黙的だった。 - MoPA は Dual Perceptual Streams により、共有 vision-language context から別々の知覚表現を抽出する。 - 知覚と行動を層ごとに整合させ、行動ストリーム間の情報交換も可能にする。 - ManiSkill-HAB ベンチマークの3タスクスイートすべてで state-of-the-art を達成。 - 実世界4タスクで平均 full-task 成功率 76.3%、最良ベースラインを 12.5 ポイント上回る。

3. 技術・手法の肝は？

- Dual Perceptual Streams：相互マスクされた2つの query bank で、共有 vision-language context から別々の知覚表現を抽出。 - Perception2Action Adaptation：structured Mixture-of-Transformers decoder の各層で、各 query bank と対応する行動ストリームを同時更新し、2つの行動ストリーム間で情報交換を可能にする。 - Coupled conditional flow matching：両行動チャンクを協調生成するための結合ベクトル場を学習。

4. どうやって有効だと検証した？

- ManiSkill-HAB ベンチマークで3タスクスイートすべてにおいて state-of-the-art 性能を達成。 - 実世界4タスクで平均 full-task 成功率 76.3% を達成し、最良ベースラインを 12.5 ポイント上回った。 - Ablation studies とさらなる分析により提案設計の有効性を検証。

5. 議論はある？

- 要旨からは不明。 - Ablation studies とさらなる分析が有効性を検証したと述べられているが、具体的な議論や限界は要旨に記載されていない。

6. 次に読むべき論文は？

- ManiSkill-HAB（ベンチマーク） - Mixture-of-Transformers（関連手法） - conditional flow matching（関連手法） - vision-language context を用いるモバイルマニピュレーション方策（関連研究）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guangyu Chen, Qiwei Liang, Shaolong Zhu, Tianxing Chen, Zikuan Xiao, Yifan Xie, Lingfeng Zhang, Ping Luo, Renjing Xu, Wenbo Ding

分類: cs.RO, cs.CV

原文アブストラクト

Mobile manipulation requires perceptual evidence at different spatial scales for base motion and arm control, while the two action modalities remain kinematically coupled. Existing policies often employ specialized action generation for different subsystems but condition heterogeneous action branches on a shared perceptual representation, leaving subsystem-specific perception-action correspondence implicit. We present MoPA, a framework that aligns perceptual conditioning with mobility and manipulation while preserving coordination at the action level. Dual Perceptual Streams employ two mutually masked query banks to extract separate perceptual representations from a shared vision-language context. Perception2Action Adaptation jointly updates each query bank and its corresponding action stream at every layer of a structured Mixture-of-Transformers decoder, while enabling information exchange between the two action streams. Coupled conditional flow matching learns a joint vector field for coordinated generation of both action chunks. On the ManiSkill-HAB benchmark, MoPA achieves state-of-the-art performance across all three task suites. Across four real-world tasks, MoPA achieves a mean full-task success rate of 76.3%, outperforming the best baseline by 12.5 percentage points. Ablation studies and further analyses validate the effectiveness of the proposed design. Website is available at: https://mopa-policy.github.io/.

arXivで原文を読む →arXiv概要ページ

MoPA: サブシステム特化型知覚アラインメントによる協調的移動マニピュレーション

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell