日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2504.05225

視覚言語モデル予測制御によるマニピュレーション計画と軌道生成

Vision-Language Model Predictive Control for Manipulation Planning and Trajectory Generation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデル(VLM)の知覚能力とモデル予測制御(MPC)を統合し、目標画像や言語指示から候補行動を生成・評価してマニピュレーション計画を行う手法を提案。計算量を抑えた軌道生成版も示す。

詳しい要約

1. どんなもの？

- ロボットマニピュレーションの計画フレームワーク - Vision-Language Model Predictive Control (VLMPC) を提案 - MPC に vision-language models (VLMs) の知覚能力を統合 - 目的画像または言語指示を入力として操作計画を生成 - 拡張版 Traj-VLMPC も提案 - 計算コストを削減しつつ精度を維持 - 長期的タスクやリアルタイム応用向け

2. 先行研究と比べてどこがすごい？

- 従来の MPC は計画・制御に優れるが環境知覚ができない - 複雑・非構造なシナリオで失敗 - VLMPC は VLM の知覚を MPC に組み込みこの限界に対処 - 公開ベンチマークで既存の state-of-the-art 手法を上回る - 実世界の多様なロボット操作タスクでも優れた性能 - 具体的な比較手法名は要旨からは不明

3. 技術・手法の肝は？

- 条件付き行動サンプリングモジュール - 目的画像または言語指示を入力 - VLM を用いて候補行動系列を生成 - 候補行動を video prediction model に入力し将来フレームをシミュレート - Traj-VLMPC は video prediction を motion trajectory generation に置換 - 候補行動に条件付けられた運動ダイナミクスを推定 - VLM ベースの階層的コスト関数で最適行動系列を選択 - 現在の観測とタスク入力の pixel-level と knowledge-level の整合性を評価

4. どうやって有効だと検証した？

- 公開ベンチマークで評価 - 両手法が既存の state-of-the-art 手法を上回ることを示す - 実世界の多様なロボットマニピュレーションタスクで評価 - 優れた性能を達成 - 具体的なベンチマーク名・タスク詳細・指標は要旨からは不明

5. 議論はある？

- Traj-VLMPC は video prediction を motion trajectory generation に置換 - 計算複雑性を削減しつつ精度を維持 - 長期的タスクやリアルタイム応用に効率的な代替を提供 - 具体的な限界・失敗事例・計算コストの定量値は要旨からは不明

6. 次に読むべき論文は？

- MPC を用いたロボットマニピュレーション計画の既存研究 - video prediction model を用いたモデルベース計画 - vision-language models (VLMs) をロボット計画に応用した研究 - 具体的な参照論文名は要旨からは不明 - コード: https://github.com/PPjmchen/VLMPC

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiaming Chen, Wentao Zhao, Ziyu Meng, Donghui Mao, Ran Song, Wei Pan, Wei Zhang

分類: cs.RO

原文アブストラクト

Model Predictive Control (MPC) is a widely adopted control paradigm that leverages predictive models to estimate future system states and optimize control inputs accordingly. However, while MPC excels in planning and control, it lacks the capability for environmental perception, leading to failures in complex and unstructured scenarios. To address this limitation, we introduce Vision-Language Model Predictive Control (VLMPC), a robotic manipulation planning framework that integrates the perception power of vision-language models (VLMs) with MPC. VLMPC utilizes a conditional action sampling module that takes a goal image or language instruction as input and leverages VLM to generate candidate action sequences. These candidates are fed into a video prediction model that simulates future frames based on the actions. In addition, we propose an enhanced variant, Traj-VLMPC, which replaces video prediction with motion trajectory generation to reduce computational complexity while maintaining accuracy. Traj-VLMPC estimates motion dynamics conditioned on the candidate actions, offering a more efficient alternative for long-horizon tasks and real-time applications. Both VLMPC and Traj-VLMPC select the optimal action sequence using a VLM-based hierarchical cost function that captures both pixel-level and knowledge-level consistency between the current observation and the task input. We demonstrate that both approaches outperform existing state-of-the-art methods on public benchmarks and achieve excellent performance in various real-world robotic manipulation tasks. Code is available at https://github.com/PPjmchen/VLMPC.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →