日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.06556

LIBERO-X:視覚言語行動モデルの堅牢性を測るリトマス試験

LIBERO-X: Robustness Litmus for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの汎化・堅牢性を細かく評価するため、難易度を段階付けた評価プロトコルと多様な人間操作データを備えた新ベンチマークLIBERO-Xを提案した。

詳しい要約

1. どんなもの?

- LIBERO-Xは、Vision-Language-Action (VLA) モデル向けの新しいベンチマーク。 - 評価とデータの両面からVLAベンチマークを再考し、階層的評価プロトコルと多様な訓練データセットを提供。 - 階層的評価は、spatial generalization、object recognition、task instruction understandingの3能力を段階的難易度で評価。 - 訓練データは人間のteleoperationで収集され、各シーンが複数の細粒度操作目標をサポート。

2. 先行研究と比べてどこがすごい?

- 既存ベンチマークは評価プロトコルが不十分で、実世界の分布シフトを捉えきれず、限定的または誤解を招く評価を与えることが多い。 - LIBERO-Xは、階層的評価と多様な訓練データを統合し、より信頼できるVLA評価基盤を提供。 - 累積的摂動下での性能低下を明らかにし、シーン理解と指示接地の持続的限界を露呈。

3. 技術・手法の肝は?

- 階層的評価プロトコル:progressive difficulty levelsを設定し、spatial generalization、object recognition、task instruction understandingを標的。 - 高多様性訓練データセット:human teleoperationで収集し、各シーンが複数の細粒度操作目標を持つ。 - これによりtrain-evaluation distribution gapの橋渡しを図る。

4. どうやって有効だと検証した?

- 代表的なVLAモデルを用いた実験を実施。 - 累積的摂動下で有意な性能低下を確認し、シーン理解と指示接地の限界を明示。 - 階層的評価と多様な訓練データの統合が、より信頼できる評価基盤となることを示した。

5. 議論はある?

- 既存ベンチマークの評価プロトコル不足と実世界分布シフトの捉えきれなさを指摘。 - 累積的摂動下での性能低下が、VLAモデルのシーン理解と指示接地の持続的限界を露呈。 - 具体的な議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、LIBERO、RLBench、CALVIN、Meta-WorldなどのVLA/ロボティクスベンチマークが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guodong Wang, Chenkai Zhang, Qingjie Liu, Jinjin Zhang, Jiancheng Cai, Junjie Liu, Xinmin Liu

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Reliable benchmarking is critical for advancing Vision-Language-Action (VLA) models, as it reveals their generalization, robustness, and alignment of perception with language-driven manipulation tasks. However, existing benchmarks often provide limited or misleading assessments due to insufficient evaluation protocols that inadequately capture real-world distribution shifts. This work systematically rethinks VLA benchmarking from both evaluation and data perspectives, introducing LIBERO-X, a benchmark featuring: 1) A hierarchical evaluation protocol with progressive difficulty levels targeting three core capabilities: spatial generalization, object recognition, and task instruction understanding. This design enables fine-grained analysis of performance degradation under increasing environmental and task complexity; 2) A high-diversity training dataset collected via human teleoperation, where each scene supports multiple fine-grained manipulation objectives to bridge the train-evaluation distribution gap. Experiments with representative VLA models reveal significant performance drops under cumulative perturbations, exposing persistent limitations in scene comprehension and instruction grounding. By integrating hierarchical evaluation with diverse training data, LIBERO-X offers a more reliable foundation for assessing and advancing VLA development.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI