日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.03827

LIBERO-PRO:記憶を超えたVLAモデルの堅牢で公平な評価に向けて

LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデル評価用ベンチマークLIBEROを拡張し、物体・初期状態・指示・環境を摂動させて評価したところ、標準評価で90%超の精度が汎化設定では0.0%に崩壊し、モデルがタスク理解ではなく訓練データの丸暗記に依存していることを明らかにした。

詳しい要約

1. どんなもの?

- LIBERO-PROは、VLA(Vision-Language-Action)モデル評価用ベンチマークLIBEROを拡張した評価スイート - 4次元(manipulated objects、initial states、task instructions、environments)にわたる合理的な摂動下でモデル性能を体系的に評価 - 既存のLIBEROの学習・評価設定が性能を過大評価し、公平な比較を妨げている問題に対処することを目的とする - コードは公開済み(https://github.com/Zxy-MLlab/LIBERO-PRO)

2. 先行研究と比べてどこがすごい?

- 標準LIBEROでは既存モデルが90%超の精度を達成するが、LIBERO-PROの一般化設定では0.0%まで崩壊することを示した - この乖離により、モデルが真のタスク理解や環境知覚ではなく、訓練セットのaction sequencesやenvironment layoutsの丸暗記に依存していることを暴露 - 従来の評価手法がもたらす誤解を明示し、頑健な汎化・理解評価への転換をコミュニティに促す点が新しい

3. 技術・手法の肝は?

- LIBEROを基盤に、4つの次元で摂動を系統的に導入する評価プロトコルを設計 - manipulated objects:対象物体の置換 - initial states:初期状態の変更 - task instructions:指示の改変・破損 - environments:環境レイアウトの変更 - 標準設定と一般化設定の性能差を比較することで、丸暗記依存を診断する枠組みを提供 - 具体的な摂動生成アルゴリズムの詳細は要旨からは不明

4. どうやって有効だと検証した?

- 既存VLAモデルを標準LIBEROとLIBERO-PROの両設定で評価し、性能を比較 - 標準LIBEROで90%超だった精度が一般化設定で0.0%に崩壊することを実験的に確認 - 対象物体を無関係な物品に置換してもgrasping actionsを実行し続ける、指示を破損・無意味トークン化しても出力が不変であるなどの定性的証拠を提示 - これらにより丸暗記依存という仮説を支持

5. 議論はある?

- 現在の評価慣行に深刻な欠陥があると主張し、誤解を招く方法論の放棄をコミュニティに呼びかけ - モデルの汎化性と理解度を頑健に評価することの重要性を強調 - 一方、摂動の妥当性や難易度設定、0.0%という極端な結果の解釈、改善手法の提案については要旨からは不明

6. 次に読むべき論文は?

- LIBERO(元ベンチマーク) - VLA(Vision-Language-Action)モデル全般の代表的手法 - 一般化・頑健性評価に関するbenchmark研究(例:摂動下でのロボット操作評価) - 丸暗記と汎化を区別する評価手法に関する研究 - 要旨で特定の比較研究名は明示されていないため、上記は関連分野の定番・概念

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xueyang Zhou, Yangming Xu, Guiyao Tie, Yongchao Chen, Guowen Zhang, Duanfeng Chu, Pan Zhou, Lichao Sun

分類: cs.CV, cs.RO

原文アブストラクト

LIBERO has emerged as a widely adopted benchmark for evaluating Vision-Language-Action (VLA) models; however, its current training and evaluation settings are problematic, often leading to inflated performance estimates and preventing fair model comparison. To address these issues, we introduce LIBERO-PRO, an extended LIBERO benchmark that systematically evaluates model performance under reasonable perturbations across four dimensions: manipulated objects, initial states, task instructions, and environments. Experimental results reveal that, although existing models achieve over 90% accuracy under the standard LIBERO evaluation, their performance collapses to 0.0% under our generalized setting. Crucially, this discrepancy exposes the models' reliance on rote memorization of action sequences and environment layouts from the training set, rather than genuine task understanding or environmental perception. For instance, models persist in executing grasping actions when the target object is replaced with irrelevant items, and their outputs remain unchanged even when given corrupted instructions or even messy tokens. These findings expose the severe flaws in current evaluation practices, and we call on the community to abandon misleading methodologies in favor of robust assessments of model generalization and comprehension. Our code is available at: https://github.com/Zxy-MLlab/LIBERO-PRO.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI