日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.13073

ロボットマニピュレーションのための大規模VLMベース視覚-言語-行動モデル:サーベイ

Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey

シェア:XThreadsFacebookLINEはてブBluesky

大規模視覚言語モデルを基盤とした視覚-言語-行動(VLA)モデルによるロボットマニピュレーション研究を、アーキテクチャの分類や関連分野との統合、今後の方向性を含めて初めて体系的にレビューしたサーベイ論文。

詳しい要約

1. どんなもの?

- ロボットマニピュレーション向けの大規模VLMベースVision-Language-Action (VLA) モデルに関する初の体系的・分類指向サーベイ - 大規模VLMベースVLAモデルを明確に定義し、二つの主要アーキテクチャパラダイムを整理 - monolithic models: single-systemとdual-system設計を含み、統合度が異なる - hierarchical models: 解釈可能な中間表現を介してplanningとexecutionを明示的に分離 - 既存taxonomyの不整合を解消し、研究の分断を緩和することを目的とする - 定期的に更新されるプロジェクトページを提供

2. 先行研究と比べてどこがすごい?

- ロボットマニピュレーションにおける大規模VLMベースVLAモデルの『最初の体系的・分類指向レビュー』と位置づけ - 既存taxonomyの不整合の解消と研究の分断の緩和を狙う点が差分 - 従来のrule-based手法は非構造・新規環境でスケールせず汎化しないという課題に対し、大規模画像テキストデータで事前学習したVLM基盤のVLAを変革的パラダイムとして整理 - 大規模VLMとロボットマニピュレーションの交差領域の研究を体系的に統合し、重要なギャップを埋める - 具体的な先行サーベイとの個別比較は要旨からは不明

3. 技術・手法の肝は?

- サーベイ手法として、大規模VLMベースVLAモデルの定義と二大アーキテクチャパラダイムの分類を提示 - monolithic models: single-system / dual-system - hierarchical models: planningとexecutionを中間表現で分離 - 先端領域との統合を整理: reinforcement learning、training-free optimization、learning from human videos、world model integration - 特徴の統合: アーキテクチャ特性、運用上の強み、開発を支えるdatasetsとbenchmarks - 有望方向の特定: memory mechanisms、4D perception、efficient adaptation、multi-agent cooperationなど - 個々の技術的アルゴリズムの詳細は要旨からは不明

4. どうやって有効だと検証した?

- 本稿はサーベイであり、新規手法の実験的検証は要旨からは不明 - 有効性の検証として、分類に基づく体系的整理、先端領域との統合の検討、datasets・benchmarksの整理、有望方向の特定を実施 - 定期的に更新されるプロジェクトページで進展を記録 - 個別ベンチマークでの定量的評価は要旨からは不明

5. 議論はある?

- 既存taxonomyの不整合と研究の分断が問題として挙げられている - 今後の有望方向としてmemory mechanisms、4D perception、efficient adaptation、multi-agent cooperation、その他の創発的能力を特定 - 非構造・新規環境でのrule-based手法のスケール・汎化限界が動機として議論 - 各パラダイムの限界やトレードオフの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で明示的に参照・比較された個別論文は記載なし - 関連手法として、大規模VLMベースVLAのmonolithic models (single-system, dual-system) とhierarchical models - 統合領域としてreinforcement learning、training-free optimization、learning from human videos、world model integration - 基盤として大規模Vision-Language Models (VLMs)、評価基盤としてdatasets・benchmarks - 同分野の定番としてbehavior cloningやimitation learning、transformerベースのpolicy学習に関する文献

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rui Shao, Wei Li, Lingsen Zhang, Renshan Zhang, Zhiyang Liu, Ran Chen, Liqiang Nie

分類: cs.RO, cs.CV

原文アブストラクト

Robotic manipulation, a key frontier in robotics and embodied AI, requires precise motor control and multimodal understanding, yet traditional rule-based methods fail to scale or generalize in unstructured, novel environments. In recent years, Vision-Language-Action (VLA) models, built upon Large Vision-Language Models (VLMs) pretrained on vast image-text datasets, have emerged as a transformative paradigm. This survey provides the first systematic, taxonomy-oriented review of large VLM-based VLA models for robotic manipulation. We begin by clearly defining large VLM-based VLA models and delineating two principal architectural paradigms: (1) monolithic models, encompassing single-system and dual-system designs with differing levels of integration; and (2) hierarchical models, which explicitly decouple planning from execution via interpretable intermediate representations. Building on this foundation, we present an in-depth examination of large VLM-based VLA models: (1) integration with advanced domains, including reinforcement learning, training-free optimization, learning from human videos, and world model integration; (2) synthesis of distinctive characteristics, consolidating architectural traits, operational strengths, and the datasets and benchmarks that support their development; (3) identification of promising directions, including memory mechanisms, 4D perception, efficient adaptation, multi-agent cooperation, and other emerging capabilities. This survey consolidates recent advances to resolve inconsistencies in existing taxonomies, mitigate research fragmentation, and fill a critical gap through the systematic integration of studies at the intersection of large VLMs and robotic manipulation. We provide a regularly updated project page to document ongoing progress: https://github.com/JiuTian-VL/Large-VLM-based-VLA-for-Robotic-Manipulation

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI