移動マニピュレーション2025/7/1arXiv:2507.01961

AC-DiT: 移動マニピュレーションのための適応協調拡散トランスフォーマ

AC-DiT: Adaptive Coordination Diffusion Transformer for Mobile Manipulation

移動ベースとマニピュレータの協調を改善するため、ベース運動を事前情報として全身動作を予測する機構と、2D画像と3D点群の融合重みを動的に調整する知覚戦略を備えた拡散トランスフォーマを提案した。

詳しい要約

1. どんなもの？

- 言語条件付きの家庭内 mobile manipulation を対象とした end-to-end 制御手法 - 名称は Adaptive Coordination Diffusion Transformer (AC-DiT) - mobile base と manipulator の協調を改善することを目的とする - Diffusion Transformer を用いたロボット制御モデル

2. 先行研究と比べてどこがすごい？

- 既存手法は mobile base が manipulator 制御に与える影響を明示的にモデル化せず、高自由度下で誤差が蓄積しやすい - 既存手法は mobile manipulation 全過程を同一の視覚モダリティ(全て 2D か全て 3D)で扱い、段階ごとの知覚要求の違いを無視 - AC-DiT は base 運動を context prior として whole-body 行動予測に組み込み、段階に応じて 2D/3D の融合重みを動的に調整する点が新しい

3. 技術・手法の肝は？

- mobility-to-body conditioning mechanism を導入 - まず base motion representation を抽出し、それを context prior として whole-body action を予測 - base 運動の影響を考慮した whole-body control を可能にする - perception-aware multimodal conditioning strategy を設計 - 2D 画像と 3D point cloud の融合重みを動的に調整し、現在の知覚要求に合った視覚特徴を生成 - 意味情報が重要な場面では 2D を、精密な空間理解が必要な場面では 3D をより重視

4. どうやって有効だと検証した？

- シミュレーションと実世界の mobile manipulation タスクの両方で extensive experiments を実施 - 具体的なタスク設定・比較手法・評価指標・成功率などの数値は要旨からは不明

5. 議論はある？

- 高自由度下での誤差蓄積や段階ごとの知覚要求の違いという課題を明示的に扱う点を主張 - 融合重みの動的調整や base 運動の context prior 化の限界・失敗事例・計算コスト・実機での汎化性に関する議論は要旨からは不明

6. 次に読むべき論文は？

- Diffusion Transformer を用いたロボット制御/模倣学習の関連研究 - language-conditioned mobile manipulation の end-to-end 手法 - 2D 画像と 3D point cloud を融合する multimodal conditioning 手法 - whole-body control における base-manipulator 協調の研究 - 要旨で具体的に参照/比較されている個別論文名は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sixiang Chen, Jiaming Liu, Siyuan Qian, Han Jiang, Lily Li, Renrui Zhang, Zhuoyang Liu, Chenyang Gu, Chengkai Hou, Pengwei Wang, Zhongyuan Wang, Shanghang Zhang

分類: cs.RO, cs.AI

原文アブストラクト

Recently, mobile manipulation has attracted increasing attention for enabling language-conditioned robotic control in household tasks. However, existing methods still face challenges in coordinating mobile base and manipulator, primarily due to two limitations. On the one hand, they fail to explicitly model the influence of the mobile base on manipulator control, which easily leads to error accumulation under high degrees of freedom. On the other hand, they treat the entire mobile manipulation process with the same visual observation modality (e.g., either all 2D or all 3D), overlooking the distinct multimodal perception requirements at different stages during mobile manipulation. To address this, we propose the Adaptive Coordination Diffusion Transformer (AC-DiT), which enhances mobile base and manipulator coordination for end-to-end mobile manipulation. First, since the motion of the mobile base directly influences the manipulator's actions, we introduce a mobility-to-body conditioning mechanism that guides the model to first extract base motion representations, which are then used as context prior for predicting whole-body actions. This enables whole-body control that accounts for the potential impact of the mobile base's motion. Second, to meet the perception requirements at different stages of mobile manipulation, we design a perception-aware multimodal conditioning strategy that dynamically adjusts the fusion weights between various 2D visual images and 3D point clouds, yielding visual features tailored to the current perceptual needs. This allows the model to, for example, adaptively rely more on 2D inputs when semantic information is crucial for action prediction, while placing greater emphasis on 3D geometric information when precise spatial understanding is required. We validate AC-DiT through extensive experiments on both simulated and real-world mobile manipulation tasks.

arXivで原文を読む →arXiv概要ページ

AC-DiT: 移動マニピュレーションのための適応協調拡散トランスフォーマ

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

MINISFORUM（ミニPC）

双腕モバイルマニピュレーター OpenShell