モバイルマニピュレーション2025/10/1arXiv:2510.03885

全体像を見る：モバイルマニピュレーション方策学習のための3D潜在マップ

Seeing the Bigger Picture: 3D Latent Mapping for Mobile Manipulation Policy Learning

3D潜在特徴マップ上で直接動作するエンドツーエンドの方策学習手法SBPを提案し、画像のみに頼る方策よりも空間的・時間的推論に優れ、未知シーンでも高い成功率を示した。

詳しい要約

1. どんなもの？

- モバイルマニピュレーションのための end-to-end 方策学習手法 SBP（Seeing the Bigger Picture） - 画像ではなく 3D latent map 上で直接動作する方策 - 知覚を現在の視野外へ拡張し、長期 horizon の観測を集約 - 対象タスク - scene-level mobile manipulation - sequential tabletop manipulation - 主張 - 3D latent map を用いる方策は空間・時間推論が画像ベースより強い

2. 先行研究と比べてどこがすごい？

- 比較対象は画像のみに依存する方策（image-based policies） - 差分・利点 - 知覚が現在の field of view に限定されず、シーン全体をグローバルに推論できる - map を long-horizon memory として利用できる - in-distribution と novel scenes の両方で画像ベース方策を上回る - sequential manipulation で成功率 +15% - 具体的な先行研究名は要旨からは不明

3. 技術・手法の肝は？

- 3D latent map の構築 - multiview 観測を scene-specific latent features の grid へ逐次 fusion - decoder - pre-trained かつ scene-agnostic な decoder が target embeddings を再構成 - これによりタスク実行中の map features の online optimization が可能 - 方策 - latent map を state variable として扱う - 3D feature aggregator で map から global context を取得 - behavior cloning または reinforcement learning で学習可能

4. どうやって有効だと検証した？

- 評価タスク - scene-level mobile manipulation - sequential tabletop manipulation - 検証された性質 - シーン全体へのグローバル推論 - map の long-horizon memory としての利用 - in-distribution および novel scenes での画像ベース方策との比較 - 定量的結果 - sequential manipulation で成功率 15% 改善 - 詳細な実験設定・ベースラインは要旨からは不明

5. 議論はある？

- 要旨で述べられている議論 - 3D latent map が空間・時間推論を強化するという主張 - 視野外知覚と長期記憶としての map の有効性 - 限界・課題に関する記述は要旨からは不明 - map 構築コスト、decoder の汎化、実機での検証範囲などは不明

6. 次に読むべき論文は？

- 要旨で参照・比較されている研究 - image-based policies（画像のみの方策） - 関連手法として挙げられる要素 - behavior cloning - reinforcement learning - 3D feature aggregator - scene-agnostic decoder - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sunghwan Kim, Woojeh Chung, Zhirui Dai, Dwait Bhatt, Arth Shukla, Hao Su, Yulun Tian, Nikolay Atanasov

分類: cs.RO

原文アブストラクト

In this paper, we demonstrate that mobile manipulation policies utilizing a 3D latent map achieve stronger spatial and temporal reasoning than policies relying solely on images. We introduce Seeing the Bigger Picture (SBP), an end-to-end policy learning approach that operates directly on a 3D map of latent features. In SBP, the map extends perception beyond the robot's current field of view and aggregates observations over long horizons. Our mapping approach incrementally fuses multiview observations into a grid of scene-specific latent features. A pre-trained, scene-agnostic decoder reconstructs target embeddings from these features and enables online optimization of the map features during task execution. A policy, trainable with behavior cloning or reinforcement learning, treats the latent map as a state variable and uses global context from the map obtained via a 3D feature aggregator. We evaluate SBP on scene-level mobile manipulation and sequential tabletop manipulation tasks. Our experiments demonstrate that SBP (i) reasons globally over the scene, (ii) leverages the map as long-horizon memory, and (iii) outperforms image-based policies in both in-distribution and novel scenes, e.g., improving the success rate by 15% for the sequential manipulation task.

arXivで原文を読む →arXiv概要ページ

全体像を見る：モバイルマニピュレーション方策学習のための3D潜在マップ

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell