日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.02896

FlySearch:視覚言語モデルの探索能力を探る

FlySearch: Exploring how vision-language models explore

シェア:XThreadsFacebookLINEはてブBluesky

複雑な3D屋外環境で物体を探索・ナビゲートするベンチマークFlySearchを提案し、最先端の視覚言語モデルが単純な探索タスクでも人間に大きく劣ることを示した。

詳しい要約

1. どんなもの?

- 3D・屋外・photorealistic な環境で物体の探索とナビゲーションを行うベンチマーク「FlySearch」を提案 - 目的は Vision-Language Models (VLMs) が能動的・目標駆動型の探索を行えるかを評価すること - 難易度の異なる3種類のシナリオ群を定義 - benchmark、scenarios、codebase を公開

2. 先行研究と比べてどこがすごい?

- 従来の VLM 評価は静的な zero-shot タスクが中心で、実世界のような非構造・複雑な環境での能動探索は未検証だった - FlySearch は 3D・屋外・photorealistic な探索環境を用意し、探索能力を直接評価する点が新しい - 最先端 VLMs が最も簡単な探索タスクでも安定して解けず、難易度上昇とともに人間との性能差が拡大することを示した

3. 技術・手法の肝は?

- 3D・屋外・photorealistic 環境で物体探索とナビゲーションを行うタスク設計 - 難易度の異なる3種類のシナリオ群を定義し、VLMs の zero-shot 性能を評価 - 失敗の原因を vision hallucination、context misunderstanding、task planning failures などに分類 - 一部の原因は finetuning で緩和できることを示す

4. どうやって有効だと検証した?

- 最先端 VLMs を FlySearch の3種類のシナリオで評価し、人間性能と比較 - 最も簡単な探索タスクでも VLMs は安定して解けないことを観測 - 難易度が上がるほど人間との性能差が拡大することを確認 - finetuning により一部の失敗原因が改善することを示した

5. 議論はある?

- VLMs の失敗原因として vision hallucination、context misunderstanding、task planning failures を挙げている - これらの一部は finetuning で対処可能だが、すべてを解決できるかは要旨からは不明 - 実世界に近い非構造環境での VLM の限界と改善可能性が議論の中心 - 具体的な議論の詳細や限界の網羅性は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明記されていない - 関連手法として Vision-Language Models (VLMs)、finetuning、vision hallucination に関する研究 - 同分野の定番として embodied navigation、visual navigation、object goal navigation のベンチマーク(例: Habitat 系)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Adam Pardyl, Dominik Matuszek, Mateusz Przebieracz, Marek Cygan, Bartosz Zieliński, Maciej Wołczyk

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

The real world is messy and unstructured. Uncovering critical information often requires active, goal-driven exploration. It remains to be seen whether Vision-Language Models (VLMs), which recently emerged as a popular zero-shot tool in many difficult tasks, can operate effectively in such conditions. In this paper, we answer this question by introducing FlySearch, a 3D, outdoor, photorealistic environment for searching and navigating to objects in complex scenes. We define three sets of scenarios with varying difficulty and observe that state-of-the-art VLMs cannot reliably solve even the simplest exploration tasks, with the gap to human performance increasing as the tasks get harder. We identify a set of central causes, ranging from vision hallucination, through context misunderstanding, to task planning failures, and we show that some of them can be addressed by finetuning. We publicly release the benchmark, scenarios, and the underlying codebase.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI