移動マニピュレーション2025/12/1arXiv:2512.12842

SAGA: 構造的アフォーダンス接地によるオープンワールド移動マニピュレーション

SAGA: Open-World Mobile Manipulation via Structured Affordance Grounding

マルチモーダル基盤モデルを用いてタスク意図を3Dアフォーダンスヒートマップとして接地し、言語・点指定・実演など多様な指示で四足歩行マニピュレータの全身制御を実現するフレームワークを提案。

詳しい要約

1. どんなもの？

- 移動マニピュレーションのための汎用的な visuomotor control フレームワーク SAGA を提案 - 多様な環境・タスク目的・ユーザ指定にまたがって汎化可能な視覚運動制御を目指す - 四脚マニピュレータ上に実装し、実世界11タスクで検証 - 言語指示・選択点・実演例など異なる形式のタスク指定を単一フレームワークで扱う - zero-shot 実行と few-shot 適応の両方を可能にする

2. 先行研究と比べてどこがすごい？

- 高レベルの意味的意図と低レベルの visuomotor control を明示的に分離する点が特徴 - 従来の end-to-end および modular ベースラインを大きく上回る性能を実世界11タスクで示す - affordance ベースのタスク表現により多様で複雑な振る舞いを統一的・構造的に表現 - multimodal foundation models を活用し外観のばらつきを抽象化して汎化を促進 - 単一フレームワークで複数形式のタスク指定と zero-shot/few-shot を両立

3. 技術・手法の肝は？

- タスク目的を観測環境に明示的に grounding する構造化 affordance 表現を採用 - affordance ベースのタスク表現で多様な振る舞いを統一形式に変換 - multimodal foundation models でタスク表現を3D affordance heatmaps として視覚観測に接地 - heatmap がタスク関連エンティティを強調し、汎化を妨げる見かけの変動を抽象化 - 接地された affordance に基づき multi-task demonstration data で conditional policy を学習 - その policy が whole-body control を実行

4. どうやって有効だと検証した？

- 四脚マニピュレータ上に SAGA を実装 - 実世界11タスクで広範な実験を実施 - end-to-end および modular ベースラインと比較 - SAGA が両ベースラインを大きな差で一貫して上回ることを確認 - 言語指示・選択点・実演例の各指定形式での実行と zero-shot/few-shot 適応を実証

5. 議論はある？

- 構造化 affordance grounding が汎用移動マニピュレーションへのスケーラブルで有効な道筋であると主張 - 高レベル意図と低レベル制御の分離が汎化に寄与するという立場 - 限界・失敗事例・計算コスト・安全性などの詳細な議論は要旨からは不明 - ベースラインの具体的構成や評価指標の詳細は要旨からは不明

6. 次に読むべき論文は？

- end-to-end ベースライン(具体的名称は要旨からは不明) - modular ベースライン(具体的名称は要旨からは不明) - multimodal foundation models を用いた affordance grounding 関連研究 - 3D affordance heatmaps を用いたロボット操作研究 - whole-body control の conditional policy 学習に関する研究 - 移動マニピュレーションの汎用 visuomotor control 研究(同分野の定番として RT-1/RT-2 系や diffusion policy 系など)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kuan Fang, Yuxin Chen, Xinghao Zhu, Farzad Niroui, Lingfeng Sun, Jiuguang Wang

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

We present SAGA, a versatile and adaptive framework for visuomotor control that can generalize across various environments, task objectives, and user specifications. To efficiently learn such capability, our key idea is to disentangle high-level semantic intent from low-level visuomotor control by explicitly grounding task objectives in the observed environment. Using an affordance-based task representation, we express diverse and complex behaviors in a unified, structured form. By leveraging multimodal foundation models, SAGA grounds the proposed task representation to the robot's visual observation as 3D affordance heatmaps, highlighting task-relevant entities while abstracting away spurious appearance variations that would hinder generalization. These grounded affordances enable us to effectively train a conditional policy on multi-task demonstration data for whole-body control. In a unified framework, SAGA can solve tasks specified in different forms, including language instructions, selected points, and example demonstrations, enabling both zero-shot execution and few-shot adaptation. We instantiate SAGA on a quadrupedal manipulator and conduct extensive experiments across eleven real-world tasks. SAGA consistently outperforms end-to-end and modular baselines by substantial margins. Together, these results demonstrate that structured affordance grounding offers a scalable and effective pathway toward generalist mobile manipulation.

arXivで原文を読む →arXiv概要ページ

SAGA: 構造的アフォーダンス接地によるオープンワールド移動マニピュレーション

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

MINISFORUM（ミニPC）

双腕モバイルマニピュレーター OpenShell