マニピュレーション2026/4/1arXiv:2604.19522

GenerativeMPC: VLM-RAGガイドによる仮想インピーダンスを用いた全身MPCによる双腕移動マニピュレーション

GenerativeMPC: VLM-RAG-guided Whole-Body MPC with Virtual Impedance for Bimanual Mobile Manipulation

視覚言語モデルと検索拡張生成を用いて、双腕移動マニピュレータの全身MPCの制御パラメータ（速度制限や安全マージン、仮想インピーダンス）を文脈に応じて調整する階層的フレームワークを提案した。

詳しい要約

1. どんなもの？

- 本論文は、双腕移動マニピュレーションのための階層型サイバーフィジカルフレームワーク「GenerativeMPC」を提案する。 - VLM-RAGを用いて視覚・言語コンテキストを制御制約（速度制限や安全マージン）に変換し、Whole-Body MPCに供給する。 - 同時に仮想インピーダンス・アドミタンス制御の剛性・減衰ゲインを調整し、人間とのインタラクションにおける文脈依存のコンプライアンスを実現する。 - 経験駆動型ベクトルデータベースを活用し、再学習なしで一貫したパラメータ接地を保証する。

2. 先行研究と比べてどこがすごい？

- エンドツーエンドモデルは不透明で、古典的制御器は文脈を欠くという課題に対し、意味理解と物理制御パラメータを明示的に橋渡しする点が新しい。 - 従来のMPCやインピーダンス制御にVLM-RAGを統合し、動的な速度制限・安全マージン・コンプライアンスを文脈に応じて調整する点が優れている。 - 再学習不要で一貫したパラメータ接地を実現する経験駆動型ベクトルデータベースの利用が先行研究と異なる。

3. 技術・手法の肝は？

- VLM-RAGモジュールが視覚・言語入力を解釈し、Whole-Body MPC用の動的速度制限と安全マージンを出力する。 - 同じVLM-RAGが仮想剛性・減衰ゲインを変調し、統一インピーダンス・アドミタンス制御器を実現する。 - 経験駆動型ベクトルデータベースにより、再学習なしでパラメータを接地する。 - 階層型サイバーフィジカルフレームワークとして、高レベル意味推論と低レベル物理制御を統合する。

4. どうやって有効だと検証した？

- MuJoCo、IsaacSim、および物理的双腕プラットフォームでの実験により有効性を検証した。 - 人間の近くで60%の速度低減を確認し、意味から物理へのパラメータ接地による安全で社会的認識のあるナビゲーションとマニピュレーションを実証した。

5. 議論はある？

- 本手法は人間中心のサイバネティクス分野を進展させ、大規模認知モデルを予測可能な高周波物理制御ループに接地する。 - 具体的な限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてWhole-Body MPC、Virtual Impedance Control、VLM-RAG、Retrieval-Augmented Generation、Vision-Language Modelが挙げられる。 - 同分野の定番としてModel Predictive Control、Impedance Control、Vision-Language Models、Retrieval-Augmented Generationに関する論文を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Marcelino Julio Fernando, Miguel Altamirano Cabrera, Jeffrin Sam, Yara Mahmoud, Konstantin Gubernatorov, Dzmitry Tsetserukou

分類: cs.RO

原文アブストラクト

Bimanual mobile manipulation requires a seamless integration between high-level semantic reasoning and safe, compliant physical interaction - a challenge that end-to-end models approach opaquely and classical controllers lack the context to address. This paper presents GenerativeMPC, a hierarchical cyber-physical framework that explicitly bridges semantic scene understanding with physical control parameters for bimanual mobile manipulators. The system utilizes a Vision-Language Model with Retrieval-Augmented Generation (VLM-RAG) to translate visual and linguistic context into grounded control constraints, specifically outputting dynamic velocity limits and safety margins for a Whole-Body Model Predictive Controller (MPC). Simultaneously, the VLM-RAG module modulates virtual stiffness and damping gains for a unified impedance-admittance controller, enabling context-aware compliance during human-robot interaction. Our framework leverages an experience-driven vector database to ensure consistent parameter grounding without retraining. Experimental results in MuJoCo, IsaacSim, and on a physical bimanual platform confirm a 60% speed reduction near humans and safe, socially-aware navigation and manipulation through semantic-to-physical parameter grounding. This work advances the field of human-centric cybernetics by grounding large-scale cognitive models into predictable, high-frequency physical control loops.

arXivで原文を読む →arXiv概要ページ

GenerativeMPC: VLM-RAGガイドによる仮想インピーダンスを用いた全身MPCによる双腕移動マニピュレーション

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

MINISFORUM（ミニPC）

双腕モバイルマニピュレーター OpenShell