日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.18028

Embodied4C:身体性を持つ視覚言語ナビゲーションの本質を測るベンチマーク

Embodied4C: Measuring What Matters for Embodied Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

自動運転車・ドローン・ロボットアームの3つの身体性で視覚言語モデルの推論・制御能力を評価する閉ループベンチマークを提案し、空間・時間推論が最大のボトルネックであることを示した。

詳しい要約

1. どんなもの?

- Embodied4C は embodied vision-language navigation のための closed-loop benchmark。 - 3 種類の異なる embodiment(autonomous vehicles、aerial drones、robotic manipulators)を対象。 - 約 1.1K の one-shot reasoning questions と 58 の goal-directed navigation tasks で構成。 - semantic・spatial・temporal・physical の 4 次元の推論能力を評価。 - embodied reasoning の Turing test として設計された評価基盤。

2. 先行研究と比べてどこがすごい?

- 既存 benchmark は embodiment(physical platform、sensor configuration、modality alignment)が perception・reasoning・control に与える影響の理解が限定的。 - VLMs の汎化性能は示されているが、embodiment 依存の評価が不足していた。 - Embodied4C は 3 つの異種 embodiment を横断し、dynamic sensor configurations と環境変化を含む点が新しい。 - domain-far queries を統合し embodiment overfitting を防ぐ設計が先行研究と異なる。

3. 技術・手法の肝は?

- closed-loop benchmark として one-shot reasoning questions と goal-directed navigation tasks を組み合わせる。 - 3 つの embodiment それぞれで dynamic sensor configurations と環境変動を提示。 - semantic・spatial・temporal・physical の 4 次元を同時に評価する設問設計。 - domain-far queries により抽象的・cross-context な推論を測定し、platform 固有の適応への過適合を抑制。 - 具体的なタスク生成手順やスコアリング詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 10 個の state-of-the-art VLMs と 4 個の embodied control baselines を包括評価。 - その結果、cross-modal alignment と instruction tuning が scale よりも重要であることを示した。 - spatial reasoning と temporal reasoning が信頼できる embodied competence の主要なボトルネックであると報告。 - 評価は 3 embodiment・約 1.1K 問・58 タスクで実施されたと要旨に記載。

5. 議論はある?

- cross-modal alignment と instruction tuning が model scale より重要という知見を提示。 - spatial・temporal reasoning が embodied competence の主な制約であると議論。 - embodiment 間の汎化と platform 固有適応のバランスが論点。 - domain-far queries の有効性や各 embodiment の難易度差に関する詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として明示された個別論文はなし。 - 関連手法として vision-language models (VLMs)、embodied control baselines、vision-language navigation の既存 benchmark を参照すべき。 - cross-modal alignment と instruction tuning に関する研究、spatial/temporal reasoning を扱う embodied AI 研究が次の候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tin Stribor Sohn, Maximilian Dillitzer, Jason J. Corso, Eric Sax

分類: cs.RO, cs.CV

原文アブストラクト

Vision-language navigation requires agents to reason and act under constraints of embodiment. While vision-language models (VLMs) demonstrate strong generalization, current benchmarks provide limited understanding of how embodiment -- i.e., the choice of physical platform, sensor configuration, and modality alignment -- influences perception, reasoning, and control. We introduce Embodied4C, a closed-loop benchmark designed as a Turing test for embodied reasoning. The benchmark evaluates the core embodied capabilities of VLMs across three heterogeneous embodiments -- autonomous vehicles, aerial drones, and robotic manipulators -- through approximately 1.1K one-shot reasoning questions and 58 goal-directed navigation tasks. These tasks jointly assess four foundational dimensions: semantic, spatial, temporal, and physical reasoning. Each embodiment presents dynamic sensor configurations and environment variations to probe generalization beyond platform-specific adaptation. To prevent embodiment overfitting, Embodied4C integrates domain-far queries targeting abstract and cross-context reasoning. Comprehensive evaluation across ten state-of-the-art VLMs and four embodied control baselines shows that cross-modal alignment and instruction tuning matter more than scale, while spatial and temporal reasoning remains the primary bottleneck for reliable embodied competence.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI