日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.24851

VLN-MME:言語誘導視覚ナビゲーションエージェントとしてのMLLMの診断

VLN-MME: Diagnosing MLLMs as Language-guided Visual Navigation agents

シェア:XThreadsFacebookLINEはてブBluesky

視覚と言語によるナビゲーション(VLN)タスクでMLLMをゼロショットエージェントとして評価する統一ベンチマークVLN-MMEを提案し、CoT推論や自己反省を加えると性能が低下するなど、 embodiedナビゲーションにおけるMLLMの空間推論の弱さを明らかにした。

詳しい要約

1. どんなもの?

- MLLMs を embodied agent として評価する統一・拡張可能な評価フレームワーク - Vision-and-Language Navigation (VLN) の文脈で zero-shot agent として MLLMs を調べる - 従来の navigation datasets を標準化 benchmark に橋渡しし VLN-MME と命名 - 多様な MLLM architectures・agent designs・navigation tasks の比較を可能にする - 高度に modular で accessible な設計 - 実験を簡素化し structured comparisons と component-level ablations を促進

2. 先行研究と比べてどこがすごい?

- 従来の MLLMs 評価は vision-language tasks 全般が中心で、embodied agent としての能力評価は限定的 - 本論文は multi-round dialogue spatial reasoning と sequential action prediction に着目 - 既存の navigation datasets を標準化 benchmark に統合する点が新しい - 個別データセット依存ではなく統一フレームワークで横断比較が可能 - 要旨からは不明 - 具体的な先行ベンチマークとの定量的比較は記述されていない

3. 技術・手法の肝は?

- 従来の navigation datasets を標準化 benchmark に橋渡しする評価フレームワーク VLN-MME を構築 - MLLMs を zero-shot agent として probe - 高度に modular で accessible な設計 - 多様な MLLM architectures・agent designs・navigation tasks を差し替え可能 - component-level ablations を容易にする - baseline agent に Chain-of-Thought (CoT) reasoning と self-reflection を付加する拡張も検証

4. どうやって有効だと検証した?

- VLN-MME フレームワーク上で MLLMs を zero-shot agent として評価 - 多様な MLLM architectures・agent designs・navigation tasks の structured comparisons と ablations を実施 - baseline agent に CoT reasoning と self-reflection を加えると性能が予想外に低下することを観測 - これにより embodied navigation における context awareness の弱さを示唆 - 具体的なデータセット名・指標・数値は要旨からは不明

5. 議論はある?

- MLLMs は指示追従や出力構造化はできるが、3D spatial reasoning の fidelity が低いと示唆 - embodied navigation における context awareness が乏しい - CoT reasoning と self-reflection の追加が性能低下を招くという予想外の結果 - sequential decision-making 能力の限界を示す - これらの知見は embodied agent としての MLLM post-training への重要な指針になると主張 - 具体的な失敗要因の分析や限界の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法として以下が候補 - Vision-and-Language Navigation (VLN) の代表的手法 - Chain-of-Thought (CoT) reasoning と self-reflection を用いる MLLM agent 研究 - embodied agent 向け MLLM post-training 研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xunyi Zhao, Gengze Zhou, Qi Wu

分類: cs.CV, cs.RO

原文アブストラクト

Multimodal Large Language Models (MLLMs) have demonstrated remarkable capabilities across a wide range of vision-language tasks. However, their performance as embodied agents, which requires multi-round dialogue spatial reasoning and sequential action prediction, needs further exploration. Our work investigates this potential in the context of Vision-and-Language Navigation (VLN) by introducing a unified and extensible evaluation framework to probe MLLMs as zero-shot agents by bridging traditional navigation datasets into a standardized benchmark, named VLN-MME. We simplify the evaluation with a highly modular and accessible design. This flexibility streamlines experiments, enabling structured comparisons and component-level ablations across diverse MLLM architectures, agent designs, and navigation tasks. Crucially, enabled by our framework, we observe that enhancing our baseline agent with Chain-of-Thought (CoT) reasoning and self-reflection leads to an unexpected performance decrease. This suggests MLLMs exhibit poor context awareness in embodied navigation tasks; although they can follow instructions and structure their output, their 3D spatial reasoning fidelity is low. VLN-MME lays the groundwork for systematic evaluation of general-purpose MLLMs in embodied navigation settings and reveals limitations in their sequential decision-making capabilities. We believe these findings offer crucial guidance for MLLM post-training as embodied agents.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI