日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLMナビゲーションarXiv:2605.10376

SleepWalk:指示付き視覚言語ナビゲーションのストレステストのための3層ベンチマーク

SleepWalk: A Three-Tier Benchmark for Stress-Testing Instruction-Guided Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

テキストから生成された3D環境で、指示に基づく軌道予測を評価するベンチマークを提案し、最先端のVLMが空間推論に系統的な失敗をすることを示した。

詳しい要約

1. どんなもの?

- 3Dデジタル環境における指示に基づく軌道予測を評価するベンチマーク - テキストのシーン記述から生成され、移動可能性でフィルタされた単一シーンの3D世界を使用 - レンダリングされた視覚観測と自然言語指示が与えられ、モデルはシーン形状を尊重し、衝突を避け、行動可能な位置で終了する軌道を予測 - 屋内・屋外の多様な環境をカバーし、空間的・時間的難易度の3段階のタスクを整理 - 2,472のキュレーションされた3D環境で、シーンごとに9つの指示を用いて3つの最先端VLMを評価

2. 先行研究と比べてどこがすごい?

- 従来のナビゲーションベンチマークは部屋をまたぐ長距離探索に焦点 - SleepWalkは局所的でインタラクション中心の身体的推論を対象 - シーン形状、衝突回避、行動互換位置での終了を要求する点で異なる - 空間的・時間的難易度の3段階により、構成複雑性の増加下でのグラウンディングを細粒度で分析可能 - 標準化されたpointwise judgeベースの評価プロトコルを採用

3. 技術・手法の肝は?

- テキストのシーン記述から単一シーンの3D世界を生成し、移動可能性でフィルタ - レンダリングされた視覚観測と自然言語指示を入力とし、軌道を予測 - 予測軌道はシーン形状を尊重し、衝突を避け、行動互換位置で終了する必要 - タスクを空間的・時間的難易度の3段階に組織化 - pointwise judgeベースの標準化評価プロトコルで評価

4. どうやって有効だと検証した?

- 2,472のキュレーションされた3D環境で、シーンごとに9つの指示を用いて3つの最先端VLMを評価 - 結果、グラウンディングされた空間推論に系統的な失敗を確認 - 特にオクルージョン、インタラクション制約、多段階指示下で性能が低下 - タスクの難易度が上がるにつれて性能が低下 - 一般に、現在のVLMは空間的に整合し、実行可能で、意図された行動に沿った軌道をある程度生成可能

5. 議論はある?

- 現在のVLMは空間的に整合し、実行可能で、意図された行動に沿った軌道をある程度生成できるが、系統的な失敗が存在 - オクルージョン、インタラクション制約、多段階指示下での失敗が顕著 - 難易度上昇に伴う性能低下が確認 - 制御されたスケーラブルな設定で失敗を明らかにすることで、グラウンディングされたマルチモーダル推論、身体的計画、視覚言語ナビゲーション、行動可能なエージェントの進歩に貢献

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 同分野の定番として、Vision-Language Navigation (VLN) ベンチマーク(例: R2R, REVERIE, Touchdown)や、Embodied AI プラットフォーム(例: AI2-THOR, Habitat)が関連 - また、Vision-Language Models (VLMs) のグラウンディング評価(例: VQA, GQA)も参考になる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Niyati Rawal, Sushant Ravva, Shah Alam Abir, Saksham Jain, Aman Chadha, Vinija Jain, Suranjana Trivedy, Amitava Das

分類: cs.CV

原文アブストラクト

Vision-Language Models (VLMs) have advanced rapidly in multimodal perception and language understanding, yet it remains unclear whether they can reliably ground language into spatially coherent, plausibly executable actions in 3D digital environments. We introduce SleepWalk, a benchmark for evaluating instruction-grounded trajectory prediction in single-scene 3D worlds generated from textual scene descriptions and filtered for navigability. Unlike prior navigation benchmarks centered on long-range exploration across rooms, SleepWalk targets localized, interaction-centric embodied reasoning: given rendered visual observations and a natural-language instruction, a model must predict a trajectory that respects scene geometry, avoids collisions, and terminates at an action-compatible location. The benchmark covers diverse indoor and outdoor environments and organizes tasks into three tiers of spatial and temporal difficulty, enabling fine-grained analysis of grounding under increasing compositional complexity. Using a standardized pointwise judge-based evaluation protocol, we evaluate three frontier VLMs on 2,472 curated 3D environments with nine instructions per scene. Results reveal systematic failures in grounded spatial reasoning, especially under occlusion, interaction constraints, and multi-step instructions: performance drops as the difficulty level of the tasks increase. In general, current VLMs can somewhat produce trajectories that are simultaneously spatially coherent, plausibly executable, and aligned with intended actions. By exposing failures in a controlled yet scalable setting, SleepWalk provides a critical benchmark for advancing grounded multimodal reasoning, embodied planning, vision-language navigation, and action-capable agents in 3D environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI