日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.13761

未来をプロンプトする:インタラクティブデジタルツインによるオープンワールドモデル予測制御

Prompting with the Future: Open-World Model Predictive Control with Interactive Digital Twins

シェア:XThreadsFacebookLINEはてブBluesky

VLMの意味推論と物理的に接地したインタラクティブデジタルツインを組み合わせ、未来の観測をVLMに提示して最適な行動を選択するモデル予測制御フレームワークを提案。

詳しい要約

1. どんなもの?

- 開放世界ロボット操作のためのモデル予測制御(MPC)フレームワーク - VLM(vision-language model)の意味推論と、実環境のインタラクティブなdigital twinを組み合わせる - digital twinを構築・シミュレーションし、実行可能な動作軌跡を生成、結果をシミュレート - 未来の観測をVLMに提示し、言語指示に基づき最適な結果を評価・選択 - 複雑な操作タスク群で検証される言語条件付きロボット制御手法

2. 先行研究と比べてどこがすごい?

- 従来のVLMベースの開放世界操作は高レベル計画の汎化に強い一方、物理世界理解の不足から低レベル制御の予測が苦手 - 本研究はVLMの意味推論と、物理的に接地したdigital twinのシミュレーションを統合 - 未来観測をVLMにプロンプトすることで、低レベル制御の予測困難性を補う点が特徴 - 複雑な操作タスクでベースライン手法を上回る性能を報告

3. 技術・手法の肝は?

- 実環境のdigital twinを構築しシミュレーション - digital twin上で実行可能な動作軌跡を生成し、対応する結果をシミュレート - 未来の観測をVLMへのプロンプトとして与え、タスクの言語指示に基づき結果を評価・選択 - digital twinの柔軟なレンダリング能力を活用し、新規で遮蔽のない視点からシーンを合成 - これにより複雑シーン理解のための事前学習済みVLMの能力を強化

4. どうやって有効だと検証した?

- 多様な複雑操作タスク群で検証 - 言語条件付きロボット制御において、VLMを用いるベースライン手法と比較し優れた性能を確認 - 具体的なタスク名・指標・データセットは要旨からは不明

5. 議論はある?

- 要旨からは不明 - 想定される論点としてdigital twin構築のコストや実環境とのギャップ、VLMプロンプト設計の感度などが考えられるが、要旨には明記なし

6. 次に読むべき論文は?

- 要旨で参照・比較されているVLMベースの開放世界操作研究(vision-language modelを用いた言語条件付きロボット制御のベースライン) - 関連手法としてmodel predictive control、digital twin、VLMベースのhigh-level planning研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chuanruo Ning, Kuan Fang, Wei-Chiu Ma

分類: cs.RO

原文アブストラクト

Recent advancements in open-world robot manipulation have been largely driven by vision-language models (VLMs). While these models exhibit strong generalization ability in high-level planning, they struggle to predict low-level robot controls due to limited physical-world understanding. To address this issue, we propose a model predictive control framework for open-world manipulation that combines the semantic reasoning capabilities of VLMs with physically-grounded, interactive digital twins of the real-world environments. By constructing and simulating the digital twins, our approach generates feasible motion trajectories, simulates corresponding outcomes, and prompts the VLM with future observations to evaluate and select the most suitable outcome based on language instructions of the task. To further enhance the capability of pre-trained VLMs in understanding complex scenes for robotic control, we leverage the flexible rendering capabilities of the digital twin to synthesize the scene at various novel, unoccluded viewpoints. We validate our approach on a diverse set of complex manipulation tasks, demonstrating superior performance compared to baseline methods for language-conditioned robotic control using VLMs.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI