日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ベンチマーク/ロバスト性arXiv:2610.24587

LIBERO-Pro2.0:実世界環境の変化に対する具身基盤モデルのロバスト性評価ベンチマーク

LIBERO-Pro2.0: A Benchmark for Evaluating the Robustness of Embodied Foundation Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作ポリシーの頑健性を体系的に評価するため、6次元にわたる22種の静的摂動と20種の実行時介入を含む1,648のタスクインスタンスを構築し、17の代表的手法を評価したベンチマーク。

詳しい要約

1. どんなもの?

- LIBERO を拡張した embodied foundation models の robustness 評価用 benchmark「LIBERO-Pro2.0」 - 分布シフト下での頑健性を体系的に測る - 6 次元の shift を定義 - Condition, Environment, Observation, Execution, Robot State Configuration, Language - 22 の static perturbations と 20 の runtime interventions を収録 - 検証済み shifted task instance は 1,648 - robustness-oriented learning 向けに 39,390 の training trajectory を収集 - model-generated と human demonstration を含む

2. 先行研究と比べてどこがすごい?

- 既存 LIBERO は広く使われる benchmark だが、高スコアは benchmark 固有の規則性の活用を反映し得る - 真の汎化・頑健性を保証しない - LIBERO-Pro2.0 は nominal 性能でなく distribution shift 下の robustness を正面から評価する点が新しい - 6 次元・42 種の perturbation/intervention を体系化 - 1,648 の shifted task instance を 6 回の反復的人手レビューで物理的妥当性・タスク妥当性を担保 - 大規模な検証済み shift 集合は先行 benchmark に対する差分 - 17 の代表的 robot policy を横断評価 - vision-language-action models, world-action models, robustness-oriented policies を比較

3. 技術・手法の肝は?

- benchmark 設計の肝は 6 次元の shift 分類 - Condition, Environment, Observation, Execution, Robot State Configuration, Language - 22 static perturbations と 20 runtime interventions を組み合わせ、1,648 の shifted task instance を構築 - 学習支援のため 39,390 trajectory を収集 - model-generated と human demonstration を併用 - 品質管理として shifted task instance に 6 回の反復的人手レビューと修正を実施 - 物理的妥当性とタスク妥当性を確認 - 評価は 17 の代表 policy に対して実施 - VLA, world-action, robustness-oriented の各パラダイムを横断

4. どうやって有効だと検証した?

- 1,648 の shifted task instance を 6 回の反復的人手レビューと修正で検証 - 物理的妥当性とタスク妥当性を確認 - 17 の代表 robot policy を評価 - vision-language-action models, world-action models, robustness-oriented policies を含む - runtime distribution shift 下で平均 26.5 percentage point の性能低下を観測 - 個別には最大 32.5 point の低下 - 全評価パラダイムで大きな robustness gap を確認 - nominal benchmark 性能と shift 下の頑健性の乖離を示す

5. 議論はある?

- LIBERO 上の強い性能が robust な embodied capability を示さない可能性を指摘 - benchmark 固有の規則性への依存を示唆 - 評価した全パラダイムで robustness gap が存在 - runtime shift 下で平均 26.5 point、最大 32.5 point の低下 - 含意として embodied foundation models の systematic robustness evaluation の必要性を強調 - 個々の perturbation/intervention の寄与や手法別の詳細分析は要旨からは不明 - 今後の分析余地として残る

6. 次に読むべき論文は?

- 基盤 benchmark である LIBERO - 比較対象として vision-language-action models - 代表的 VLA 手法 - world-action models - robustness-oriented policies - 関連する分布シフト・頑健性評価の一般手法 - distribution shift robustness evaluation - domain randomization 系の頑健化手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xueyang Zhou, Yangming Xu, Qianjiang Li, Guiyao Tie, Junhao Wu, Ziheng Huang, Guowen Zhang, Zhijie Yuan, Di Wu, Duanfeng Chu, Pan Zhou, Lichao Sun, Yongchao Chen

分類: cs.RO

原文アブストラクト

LIBERO has emerged as a widely adopted benchmark for evaluating robotic manipulation policies. However, strong performance on LIBERO does not necessarily indicate robust embodied capabilities, as models may exploit benchmark-specific regularities rather than generalize to diverse operating conditions. In this work, we introduce LIBERO-Pro2.0, a comprehensive benchmark for systematically evaluating the robustness of embodied foundation models under distribution shifts. LIBERO-Pro2.0 encompasses 22 static perturbations and 20 runtime interventions across six dimensions: Condition, Environment, Observation, Execution, Robot State Configuration, and Language, yielding 1,648 validated shifted task instances. To support robustness-oriented learning, we further collect 39,390 training trajectories through model-generated and human demonstrations. All shifted task instances undergo six rounds of iterative human review and correction to ensure physical plausibility and task validity. We evaluate 17 representative robot policies spanning vision-language-action models, world-action models, and robustness-oriented policies. Our results reveal substantial robustness gaps across all evaluated paradigms: under runtime distribution shifts, the evaluated models exhibit an average performance drop of 26.5 percentage points, with individual drops reaching 32.5 points. These findings highlight the gap between nominal benchmark performance and robustness under distribution shifts, underscoring the need for systematic robustness evaluation of embodied foundation models.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI