世界モデル/ベンチマーク調査2026/8/30arXiv:2609.29669

世界モデルはより優れたロボットを作るのか？予測的身体知能の評価ベンチマーク調査

Do World Models Make Better Robots? A Survey of Evaluation Benchmarks for Predictive Embodied Intelligence

ロボット学習における世界モデルとVLA政策の評価手法の乖離を指摘し、2017〜2026年の160件のベンチマークを分類・分析した調査論文。

詳しい要約

1. どんなもの？

- 本論文は、ロボティクス/身体性AIにおける評価ベンチマークのサーベイ。 - 直接的なVision-Language-Action (VLA) ポリシーと、予測・生成World Modelの二つの研究潮流を対象。 - 両者を比較する評価の欠如を指摘し、2017–2026年の160のWeb検証済みベンチマークを収集。 - 評価モード、ロボット能力、モデルファミリーで整理し、4つのレーン(policy suites, embodied agents, world model evaluation, prediction-to-action bridges)に分類。 - 世界モデルが閉ループでVLAに対し測定可能な優位性を持つか、どの能力で持つかを問う。

2. 先行研究と比べてどこがすごい？

- 8つの最も近い既存サーベイと比較し、能力とモデルファミリーを交差させた唯一のサーベイであると主張。 - 既存のWorld Modelベンチマークは予測を実行せずに評価し、タスク成功スイートは単一ポリシーでWorld Model対VLAの対比を欠く。 - 本サーベイはそのギャップを埋めるため、評価モード・能力・モデルファミリーの運用分類法を提供。 - 160ベンチマーク中、モデル非依存が138、明示的なVLA対World Model対比は11(7%)のみ。 - 反事実能力はほぼ未測定で、予測を実行行動に変換するベンチマークは4つのみと報告。

3. 技術・手法の肝は？

- 160のWeb検証済みベンチマークを収集し、評価モード、ロボット能力、モデルファミリーで分類。 - 4つのレーン(policy suites, embodied agents, world model evaluation, prediction-to-action bridges)を設定。 - 運用分類法(operational taxonomy)を提案。 - 予測の優位性を分離する評価ループ(evaluation loop)を提案。 - 名前付きテストベッドに基づく4つのadvantage-aware metricsからなる実行可能プロトコルを提案。

4. どうやって有効だと検証した？

- 160のベンチマークをWeb検証し、コーパス全体の傾向を定量的に分析。 - モデル非依存ベンチマーク数、VLA対World Model対比数、反事実能力測定数、予測を実行行動に変換するベンチマーク数を報告。 - 8つの最も近いサーベイとのカバレッジ比較を実施。 - 提案する評価ループとadvantage-aware metricsは名前付きテストベッドに基づくプロトコルとして提示。 - ただし、提案手法自体の実験的検証は要旨からは不明。

5. 議論はある？

- 世界モデルがロボットに役立つか否かではなく、その問いに答えるには問いを立てるためのベンチマークが必要だと主張。 - 現在の評価ギャップはモデル自体ではなく測定方法にあると議論。 - 反事実能力がほぼ未測定であること、予測を実行行動に変換するベンチマークが少ないことを課題として指摘。 - モデル非依存ベンチマークが大多数を占め、VLA対World Modelの直接対比が不足していると議論。 - 具体的な限界や反論については要旨からは不明。

6. 次に読むべき論文は？

- 本サーベイが参照/比較する8つの最も近い既存サーベイ(具体的名称は要旨からは不明)。 - 直接的なVision-Language-Action (VLA) ポリシーに関する研究。 - 予測・生成World Modelに関する研究。 - 4つのレーンに対応するベンチマーク群: policy suites, embodied agents, world model evaluation, prediction-to-action bridges。 - 同分野の定番として、ロボット学習の閉ループタスク成功評価と、World Modelの開ループ予測/生成評価に関する代表的研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gaytri Jena, Kapil Wanaskar, Vinija Jain, Aman Chadha, Vasu Sharma, Amitava Das

分類: cs.RO, cs.AI

原文アブストラクト

Robot learning now advances along two tracks that rarely meet. On one side, direct Vision-Language-Action (VLA) policies map observations to actions and are scored by closed-loop task success. On the other, predictive and generative world models forecast future observations and are scored by open-loop prediction or generation quality. A natural question sits between them: does world modelling earn a measurable, closed-loop advantage over a direct policy, and for which robotic capabilities? We argue that the field cannot yet answer this question, and that the reason is a gap in how it is measured, not in the models themselves. World-model benchmarks score prediction without ever executing it, while task-success suites host a single policy and never build a world-model versus VLA contrast. This survey maps the evaluation landscape around that gap. We catalogue 160 web-verified benchmarks spanning 2017 to 2026 and organise them by evaluation mode, robotic capability, and model family into four lanes: policy suites, embodied agents, world model evaluation, and prediction-to-action bridges. Across the corpus, 138 of 160 benchmarks are model-agnostic and only 11 (7%) build an explicit VLA-versus-world-model contrast; counterfactual capability is almost entirely unmeasured, and only four benchmarks turn prediction into executed action. We contribute an operational taxonomy, a coverage comparison against the eight closest surveys (ours is the only one to cross capability with model family), an evaluation loop that isolates the advantage of prediction, and an actionable protocol of four advantage-aware metrics anchored on named testbeds. The organising claim is not that world models help or do not help, but that answering the question requires benchmarks built to ask it.

arXivで原文を読む →arXiv概要ページ

← 論文一覧