日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.07815

想像・検証・実行:視覚言語モデルによる記憶誘導型エージェント探索

Imagine, Verify, Execute: Memory-guided Agentic Exploration with Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルでシーンを想像し物理的妥当性を検証してから行動する探索フレームワークIVEを提案し、多様な探索と下流学習の性能向上を実現した。

詳しい要約

1. どんなもの?

- 提案するのは IVE (Imagine, Verify, Execute) という、Vision-Language Models (VLMs) を活用したロボットの探索フレームワーク。 - 人間の好奇心に着想を得て、新しいシーン構成の発見と環境理解の深化を目指す。 - RGB-D 観測を意味的シーングラフに抽象化し、新しいシーンを想像し、物理的妥当性を検証し、実行可能なスキル系列を生成する。 - シミュレーションと実世界のテーブルトップ環境で評価。

2. 先行研究と比べてどこがすごい?

- 従来の強化学習 (RL) ベースラインと比較して、訪問状態のエントロピーが 4.1〜7.8 倍増加し、より多様で意味のある探索を実現。 - 収集した経験が下流学習を支援し、人間が収集したデモンストレーションで訓練したポリシーに匹敵または上回る性能を達成。 - VLMs の出力をそのまま使うのではなく、物理的妥当性を検証する点が特徴。

3. 技術・手法の肝は?

- VLMs を用いて RGB-D 観測を意味的シーングラフに変換。 - シーングラフに基づき、VLMs が新しいシーンを想像 (imagine) し、その物理的妥当性を予測 (verify)。 - 検証済みのシーンに対して、アクションツールを通じて実行可能なスキル系列を生成 (execute)。 - この一連のプロセスをエージェント型探索ループとして統合。

4. どうやって有効だと検証した?

- シミュレーションと実世界のテーブルトップ環境で実験を実施。 - 訪問状態のエントロピーを指標に、RL ベースラインと比較して 4.1〜7.8 倍の多様性向上を確認。 - 収集した経験を用いた下流学習で、人間のデモンストレーションで訓練したポリシーと同等以上の性能を達成。

5. 議論はある?

- 要旨からは不明。 - ただし、VLMs の想像と実行のギャップを検証ステップで埋めるアプローチの有効性が示唆される。 - 実世界での適用可能性や、他のタスクへの汎化性についての議論は要旨では触れられていない。

6. 次に読むべき論文は?

- 要旨で直接参照されている研究はないが、関連手法として Vision-Language Models (VLMs) を用いたロボット学習、意味的シーングラフ、強化学習 (RL) ベースの探索、人間のデモンストレーションからの学習 (imitation learning) が挙げられる。 - 具体的には、VLMs をロボットに応用した研究 (例: RT-2, PaLM-E) や、シーングラフを用いたタスクプランニング、好奇心駆動型探索の論文が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seungjae Lee, Daniel Ekpo, Haowen Liu, Furong Huang, Abhinav Shrivastava, Jia-Bin Huang

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Exploration is essential for general-purpose robotic learning, especially in open-ended environments where dense rewards, explicit goals, or task-specific supervision are scarce. Vision-language models (VLMs), with their semantic reasoning over objects, spatial relations, and potential outcomes, present a compelling foundation for generating high-level exploratory behaviors. However, their outputs are often ungrounded, making it difficult to determine whether imagined transitions are physically feasible or informative. To bridge the gap between imagination and execution, we present IVE (Imagine, Verify, Execute), an agentic exploration framework inspired by human curiosity. Human exploration is often driven by the desire to discover novel scene configurations and to deepen understanding of the environment. Similarly, IVE leverages VLMs to abstract RGB-D observations into semantic scene graphs, imagine novel scenes, predict their physical plausibility, and generate executable skill sequences through action tools. We evaluate IVE in both simulated and real-world tabletop environments. The results show that IVE enables more diverse and meaningful exploration than RL baselines, as evidenced by a 4.1 to 7.8x increase in the entropy of visited states. Moreover, the collected experience supports downstream learning, producing policies that closely match or exceed the performance of those trained on human-collected demonstrations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI