日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/評価ベンチマークarXiv:2605.10858

あなたの運転ワールドモデルは万能選手か?

Is Your Driving World Model an All-Around Player?

シェア:XThreadsFacebookLINEはてブBluesky

運転ワールドモデルの性能を画質から閉ループ運転まで多面的に評価する統一ベンチマークWorldLensを提案し、既存モデルが全軸で優れないことを示した。

詳しい要約

1. どんなもの?

- 運転世界モデル(driving world models)の忠実度を評価する統合ベンチマーク WorldLens を提案。 - ピクセル品質、4D geometry、closed-loop driving、人間知覚整合性まで5側面・24次元で測定。 - 6代表モデルを評価し、全軸で優れるモデルは存在しないことを示す。 - 人間注釈付き選好データセット WorldLens-26K(26,808件)と、視覚言語評価器 WorldLens-Agent も貢献。

2. 先行研究と比べてどこがすごい?

- 従来は生成された世界の見た目のリアルさを評価するが、振る舞いのリアルさはほとんど評価されていなかった。 - 本ベンチマークは pixel quality から closed-loop planning まで全スペクトルを統合的に評価。 - テクスチャ重視モデルは geometry に違反し、geometry 重視モデルは behavioral fidelity を欠くことを定量的に明らかにした。 - 最良モデルでも人間のリアリズム評価で10点中2-3点にとどまることを示した。

3. 技術・手法の肝は?

- 5つの補完的側面と24の標準化次元からなる統合ベンチマーク WorldLens を設計。 - ピクセル品質、4D geometry、closed-loop driving、人間知覚整合性などを評価。 - 人間注釈付き選好データセット WorldLens-26K を作成(数値スコアとテキスト根拠のペア)。 - この判断から蒸留した視覚言語評価器 WorldLens-Agent により、スケーラブルで説明可能な自動評価を実現。

4. どうやって有効だと検証した?

- 6つの代表的な運転世界モデルを WorldLens で評価。 - 各モデルの強みと弱みを5側面・24次元で分析。 - 人間のリアリズム評価との比較により、アルゴリズム指標と人間知覚のギャップを確認。 - WorldLens-26K の人間注釈と WorldLens-Agent の自動評価を組み合わせて検証。

5. 議論はある?

- 既存モデルは全軸で優れず、テクスチャと幾何、幾何と振る舞いの間にトレードオフが存在。 - 人間のリアリズム評価が低く、生成世界の物理的・行動的忠実度に課題。 - アルゴリズム指標と人間知覚の橋渡しが必要。 - ベンチマーク、データセット、エージェントの統合エコシステムを提案。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:6つの代表的な運転世界モデル(具体的名称は要旨に記載なし)。 - 関連手法:closed-loop planning を用いた評価、4D geometry を考慮した生成モデル、視覚言語モデルによる評価。 - 同分野の定番:driving world models、closed-loop planning、vision-language evaluator。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lingdong Kong, Ao Liang, Tianyi Yan, Hongsi Liu, Wesley Yang, Ziqi Huang, Xian Sun, Wei Yin, Jialong Zuo, Yixuan Hu, Dekai Zhu, Dongyue Lu, Youquan Liu, Guangfeng Jiang, Linfeng Li, Xiangtai Li, Long Zhuo, Lai Xing Ng, Benoit R. Cottereau, Changxin Gao, Liang Pan, Wei Tsang Ooi, Ziwei Liu

分類: cs.CV, cs.RO

原文アブストラクト

Today's driving world models can generate remarkably realistic dash-cam videos, yet no single model excels universally. Some generate photorealistic textures but violate basic physics; others maintain geometric consistency but fail when subjected to closed-loop planning. This disconnect exposes a critical gap: the field evaluates how real generated worlds appear, but rarely whether they behave realistically. We introduce WorldLens, a unified benchmark that measures world-model fidelity across the full spectrum, from pixel quality and 4D geometry to closed-loop driving and human perceptual alignment, through five complementary aspects and 24 standardized dimensions. Our evaluation of six representative models reveals that no existing approach dominates across all axes: texture-rich models violate geometry, geometry-aware models lack behavioral fidelity, and even the strongest performers achieve only 2-3 out of 10 on human realism ratings. To bridge algorithmic metrics with human perception, we further contribute WorldLens-26K, a 26,808-entry human-annotated preference dataset pairing numerical scores with textual rationales, and WorldLens-Agent, a vision-language evaluator distilled from these judgments that enables scalable, explainable auto-assessment. Together, the benchmark, dataset, and agent form a unified ecosystem for assessing generated worlds not merely by visual appeal, but by physical and behavioral fidelity.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI