日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.17561

VLA-OS:視覚言語行動モデルにおける計画表現とパラダイムの構造化と分析

VLA-OS: Structuring and Dissecting Planning Representations and Paradigms in Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの計画パラダイムと表現を統一的に比較するVLA-OSを提案し、視覚接地表現が言語表現より優れ、階層型VLAが性能・汎化・拡張性で優位だが速度が遅いことを示した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルにおける task planning と action generation の構成を体系的に調べる研究 - ネットワーク構造や training data の影響を切り離し、planning paradigm と representation の影響を比較する統一アーキテクチャ VLA-OS を提案 - rigid/deformable 物体、2D/3D 視覚、simulation/real-world、gripper/dexterous hand を含む制御実験スイートを設計

2. 先行研究と比べてどこがすごい?

- 既存 VLA 研究は end-to-end action-generation から task planning + action generation のパイプラインへ移行し、複雑・long-horizon な manipulation で性能向上を示してきた - しかし既存手法は network architectures、planning paradigms、representations、training data sources が大きく異なり、性能向上の要因特定が困難 - 本研究はこれらを統一アーキテクチャと制御実験で分離し、planning paradigm/representation の影響を直接比較できる点が異なる

3. 技術・手法の肝は?

- VLA-OS は様々な task planning paradigm を実装可能な統一 VLA アーキテクチャ系列 - network architecture と training data を揃えた上で planning paradigm と representation を比較する制御実験を設計 - 比較対象として visually grounded planning representations と language planning representations、および Hierarchical-VLA などの paradigm を扱う - 評価軸は task performance、pretraining、generalization ability、scalability、continual learning ability、training/inference speed

4. どうやって有効だと検証した?

- rigid と deformable の物体カテゴリ、2D と 3D の視覚 modality、simulation と real-world の環境、gripper と dexterous hand の end-effector にまたがる制御実験を実施 - 結果として visually grounded planning representations が一般に language planning representations より良いことを示す - Hierarchical-VLA paradigm が task performance、pretraining、generalization ability、scalability、continual learning ability で他 paradigm より優れるか同等であり、training/inference 速度は遅くなることを示す

5. 議論はある?

- visually grounded planning representations の優位性と language planning representations の限界が示唆される - Hierarchical-VLA は性能・汎化・拡張性・継続学習で有利だが、training と inference の速度低下というコストを伴う - 要旨からは、具体的な失敗要因や計算コストの定量、実世界展開の制約についての詳細は不明

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている個別研究は不明 - 関連手法として Hierarchical-VLA、end-to-end action-generation VLA、task planning + action generation パイプライン、visually grounded planning representation、language planning representation を挙げる - 同分野の定番として Vision-Language-Action models、long-horizon manipulation、task planning に関する研究を次に読むべき

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chongkai Gao, Zixuan Liu, Zhenghao Chi, Junshan Huang, Xin Fei, Yiwen Hou, Yuxuan Zhang, Yudi Lin, Zhirui Fang, Zeyu Jiang, Lin Shao

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Recent studies on Vision-Language-Action (VLA) models have shifted from the end-to-end action-generation paradigm toward a pipeline involving task planning followed by action generation, demonstrating improved performance on various complex, long-horizon manipulation tasks. However, existing approaches vary significantly in terms of network architectures, planning paradigms, representations, and training data sources, making it challenging for researchers to identify the precise sources of performance gains and components to be further improved. To systematically investigate the impacts of different planning paradigms and representations isolating from network architectures and training data, in this paper, we introduce VLA-OS, a unified VLA architecture series capable of various task planning paradigms, and design a comprehensive suite of controlled experiments across diverse object categories (rigid and deformable), visual modalities (2D and 3D), environments (simulation and real-world), and end-effectors (grippers and dexterous hands). Our results demonstrate that: 1) visually grounded planning representations are generally better than language planning representations; 2) the Hierarchical-VLA paradigm generally achieves superior or comparable performance than other paradigms on task performance, pretraining, generalization ability, scalability, and continual learning ability, albeit at the cost of slower training and inference speeds.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI