日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2605.27589

What-If World: 身体性シナリオにおける汎用世界モデルのための因果ベンチマーク

What-If World: A Causal Benchmark for General World Models in Embodied Scenarios

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ生成モデルが物理的介入に正しく反応するかを評価するため、1つの物理変数だけが異なるプロンプトペアを用いたベンチマーク「What-If World」を提案し、9つの最先端モデルが低スコアであることを示した。

詳しい要約

1. どんなもの?

- ビデオ生成モデルをworld simulatorとして使う際の因果的応答を評価するベンチマーク。 - 同一シーンで1つの物理的詳細だけを変えた2つのpromptペアを用意。 - 各ペアで生成された2つのビデオが物理法則に沿って分岐するかを検証。 - 実フレームはnuScenesとDROIDに基づく319ペア。 - 6つの物理変数のtaxonomyで整理。 - 評価はAPEOの4項目ルーブリック。

2. 先行研究と比べてどこがすごい?

- 既存ベンチマークはビデオを1本ずつ採点し、ペア間の因果的差異を検出できない。 - 本ベンチマークはpromptペア間の変化に着目し、物理的予測と一致する分岐を評価。 - 個別にはもっともらしいが因果を無視した失敗を検出可能。 - 9つのSOTAモデルでペアスコアが52%を超えず、オープンソースは約28%に集中。 - 因果介入の大部分で失敗し、action-conditioned simulationやmodel-based planningへの余地を示す。

3. 技術・手法の肝は?

- 同一シーンで1つの物理変数のみを変えたpromptペアを設計。 - 実フレームはnuScenesとDROIDから取得。 - 6つの物理変数のtaxonomyでペアを分類。 - APEOルーブリックで各ビデオを4項目評価: Adherence, Physics, Environment, Outcome。 - ペアスコアで因果的差異の正しさを測定。

4. どうやって有効だと検証した?

- 9つのSOTAモデルを評価。 - ペアスコアは最高でも52%未満、オープンソースは約28%。 - 全モデルが因果介入の大部分で失敗。 - スコアは介入の視覚的顕著性と相関し、物理的扱いやすさとは連動しない。 - 視覚的に微妙な介入は14.2%、顕著なものは40.4%。

5. 議論はある?

- 現状のモデルはaction-conditioned simulationやmodel-based planningを信頼して支えるには不十分。 - 性能が物理的難易度ではなく視覚的顕著性に依存する可能性。 - ベンチマークの限界や改善点は要旨からは不明。

6. 次に読むべき論文は?

- nuScenes - DROID - 関連するworld modelやvideo generationのベンチマーク(例: 同分野の定番としてWorldBenchなど)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kunlin Cai, Rui Song, Jinghuai Zhang, Kaiyuan Zhang, Pranav Bodapati, Alicia Yu, Fnu Suya, Mohammad Rostami, Jiaqi Ma, Yuan Tian

分類: cs.CV

原文アブストラクト

Video generation models are increasingly used as world simulators for tasks like driving and robotic manipulation. What matters in these settings is not whether a single video looks right, but whether the model's output changes when its input changes. We test this by giving a model two prompts describing the same scene with one physical detail varied, and checking whether the two videos diverge the way physics predicts. The wording difference between the prompts is small by design, since only one variable is changed, but the correct physical difference is not. A model that misses this can still produce two videos that each look plausible individually, and existing benchmarks score videos one at a time and cannot detect this failure. We introduce What-If World, 319 such prompt pairs built on real frames from nuScenes and DROID, organized by a taxonomy of six physical variables shared across driving and manipulation. Each pair is scored with APEO, a four-part rubric checking whether each video follows its prompt (Adherence), is physically consistent (Physics), preserves the shared scene (Environment), and ends in the correct difference (Outcome). Across nine state-of-the-art models, no system exceeds 52% on the paired score, and open-source models cluster near 28%. Every model tested fails on a large fraction of causal interventions, indicating substantial room before these models can reliably support action-conditioned simulation or model-based planning. Where models do score well, performance appears to track the visual prominence of the intervention rather than the tractability of its underlying physics. Some visually subtle interventions score as low as 14.2%, while visually pronounced ones reach 40.4%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI