日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.09930

意図から実行へ:Vision-Language-Actionモデルの汎化境界を探る

From Intention to Execution: Probing the Generalization Boundaries of Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの汎化能力を体系的に評価するため、言語・視覚・物体に関する50のシミュレーションタスクを用意し、最先端モデルが知覚や計画は得意でも、分布外の状況では動作実行が崩れることを示した。

詳しい要約

1. どんなもの?

Vision-Language-Action (VLA) モデルの汎化能力を体系的に調べるための、シミュレーション基盤の統一評価スイートを提案する研究。language instruction・vision・objects の3軸にまたがる10サブカテゴリ・50タスクで構成され、複数の state-of-the-art VLA アーキテクチャを評価する。タスクスイートと評価コードを公開し、将来の VLA 向け標準ベンチマークと perception-to-action gap 研究の促進を目指す。

2. 先行研究と比べてどこがすごい?

- 従来の imitation learning ベンチマークは language instruction を欠くため VLA 評価に不適。 - 既存の VLA 向けベンチマークは評価タスクが限られ、VLM pretraining が下流ロボット政策の汎化にどれだけ寄与するかを調べる設計になっていない。 - 多くの研究は各機関が個別設計した実機セットアップに依存し、再現性・アクセス性の障壁がある。 - 本研究はこれらを補い、language・vision・objects を横断する統一シミュレーション評価スイートを提供する点が異なる。

3. 技術・手法の肝は?

- シミュレーション基盤で、language instruction・vision・objects の3軸×10サブカテゴリ・計50タスクからなる probing suite を構築。 - 複数の state-of-the-art VLA アーキテクチャを同一スイート上で系統的に評価。 - out-of-distribution 観察に対する意図(intention)と行動実行(execution)の乖離を分析する評価設計。 - 具体的なモデル名・学習手順の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 構築した50タスクのスイート上で複数の state-of-the-art VLA を評価し、汎化挙動を観察。 - 結果として、VLM backbone は頑健な知覚理解と高レベル計画(良い intention)を与えるが、out-of-distribution 観察下では意図は一貫するものの action execution が破綻する傾向を報告。 - action data での finetuning が元の VLM の generalist reasoning 能力を損ない得ることも示す。 - 定量指標や被験モデル数などの詳細は要旨からは不明。

5. 議論はある?

- VLA の「意図は良いが実行が伴わない」perception-to-action gap の存在を指摘し、このギャップを埋める研究の必要性を訴える。 - action data での finetuning による VLM の generalist reasoning 能力の劣化(erosion)という trade-off を議論。 - 実機ではなくシミュレーション基盤の評価である点、タスク設計の代表性や sim-to-real の扱いは要旨からは不明。 - ベンチマークとコードを公開し標準化を図る立場。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) モデル、Vision-Language Models (VLMs)、imitation learning の各文献を挙げる。 - 提案スイート(ai4ce.github.io/INT-ACT/)と、perception-to-action gap を扱う後続研究が次の読むべき対象。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Irving Fang, Juexiao Zhang, Shengbang Tong, Chen Feng

分類: cs.RO, cs.CV

原文アブストラクト

One promise that Vision-Language-Action (VLA) models hold over traditional imitation learning for robotics is to leverage the broad generalization capabilities of large Vision-Language Models (VLMs) to produce versatile, "generalist" robot policies. However, current evaluations of VLAs remain insufficient. Traditional imitation learning benchmarks are unsuitable due to the lack of language instructions. Emerging benchmarks for VLAs that incorporate language often come with limited evaluation tasks and do not intend to investigate how much VLM pretraining truly contributes to the generalization capabilities of the downstream robotic policy. Meanwhile, much research relies on real-world robot setups designed in isolation by different institutions, which creates a barrier for reproducibility and accessibility. To address this gap, we introduce a unified probing suite of 50 simulation-based tasks across 10 subcategories spanning language instruction, vision, and objects. We systematically evaluate several state-of-the-art VLA architectures on this suite to understand their generalization capability. Our results show that while VLM backbones endow VLAs with robust perceptual understanding and high level planning, which we refer to as good intentions, this does not reliably translate into precise motor execution: when faced with out-of-distribution observations, policies often exhibit coherent intentions, but falter in action execution. Moreover, finetuning on action data can erode the original VLM's generalist reasoning abilities. We release our task suite and evaluation code to serve as a standardized benchmark for future VLAs and to drive research on closing the perception-to-action gap. More information, including the source code, can be found at https://ai4ce.github.io/INT-ACT/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI