視覚言語モデル/ナビゲーション支援2026/3/1arXiv:2603.15624

視覚障害者向けナビゲーション支援におけるVLMの活用可能性の探求

Exploring the Use of VLMs for Navigation Assistance for People with Blindness and Low Vision

視覚障害者（pBLV）のナビゲーション支援における視覚言語モデル（VLM）の性能を、閉域・オープンソースモデルを比較評価し、空間推論やシーン理解の課題と可能性を明らかにした。

詳しい要約

1. どんなもの？

- 本論文は、vision-language models (VLMs) が視覚障害者・低視力者 (pBLV) のナビゲーション支援にどの程度利用可能かを調査した研究。 - 閉源モデル (GPT-4V, GPT-4o, Gemini-1.5-Pro, Claude-3.5-Sonnet) と開源モデル (Llava-v1.6-mistral, Llava-onevision-qwen) を評価。 - 基礎的視覚スキルとして、周囲の障害物の計数、相対的空間推論、常識的な道案内に関連するシーン理解を分析。 - さらに pBLV 向けプロンプトを用いたナビゲーションシナリオでの性能も評価。

2. 先行研究と比べてどこがすごい？

- 従来のナビゲーション支援技術と比較し、VLMs の可能性を体系的に評価した点が新しい。 - 閉源モデルと開源モデルを同一タスクで比較し、性能差を明らかにした。 - 特に GPT-4o が全タスクで他を一貫して上回ることを示した。 - 開源モデルは複雑環境での推論や適応性に課題があることを明らかにした。

3. 技術・手法の肝は？

- 複数の VLMs に対し、pBLV の実世界支援タスクを模したプロンプトを設計。 - 基礎的視覚スキル (障害物計数、空間推論、シーン理解) を評価するタスクを設定。 - ナビゲーションシナリオでの性能も評価。 - モデルの出力を分析し、共通の課題 (混雑環境での計数困難、空間推論のバイアス、物体詳細優先) を特定。

4. どうやって有効だと検証した？

- 閉源モデルと開源モデルを複数のタスクで比較評価。 - GPT-4o が空間推論とシーン理解で特に優れることを定量的に示した。 - 開源モデルの限界を具体的に明らかにした。 - 評価結果に基づき、VLMs の強みと弱みに関する実用的な洞察を提供。

5. 議論はある？

- VLMs はナビゲーション支援に有望だが、現状では限界がある。 - 共通の課題: 混雑環境での物体計数の困難、空間推論のバイアス、物体詳細を優先し空間フィードバックを軽視する傾向。 - これらの制限が pBLV のナビゲーションタスクでの usability を制限。 - 人間のフィードバックとの整合性向上と空間推論の改善が必要。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: GPT-4V, GPT-4o, Gemini-1.5-Pro, Claude-3.5-Sonnet, Llava-v1.6-mistral, Llava-onevision-qwen。 - 関連手法: vision-language models (VLMs) を用いた assistive technologies。 - 同分野の定番: 視覚障害者向けナビゲーション支援システム、空間推論、シーン理解。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yu Li, Yuchen Zheng, Giles Hamilton-Fletcher, Marco Mezzavilla, Yao Wang, Sundeep Rangan, Maurizio Porfiri, Zhou Yu, John-Ross Rizzo

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

This paper investigates the potential of vision-language models (VLMs) to assist people with blindness and low vision (pBLV) in navigation tasks. We evaluate state-of-the-art closed-source models, including GPT-4V, GPT-4o, Gemini-1.5-Pro, and Claude-3.5-Sonnet, alongside open-source models, such as Llava-v1.6-mistral and Llava-onevision-qwen, to analyze their capabilities in foundational visual skills: counting ambient obstacles, relative spatial reasoning, and common-sense wayfinding-pertinent scene understanding. We further assess their performance in navigation scenarios, using pBLV-specific prompts designed to simulate real-world assistance tasks. Our findings reveal notable performance disparities between these models: GPT-4o consistently outperforms others across all tasks, particularly in spatial reasoning and scene understanding. In contrast, open-source models struggle with nuanced reasoning and adaptability in complex environments. Common challenges include difficulties in accurately counting objects in cluttered settings, biases in spatial reasoning, and a tendency to prioritize object details over spatial feedback, limiting their usability for pBLV in navigation tasks. Despite these limitations, VLMs show promise for wayfinding assistance when better aligned with human feedback and equipped with improved spatial reasoning. This research provides actionable insights into the strengths and limitations of current VLMs, guiding developers on effectively integrating VLMs into assistive technologies while addressing key limitations for enhanced usability.

arXivで原文を読む →arXiv概要ページ

← 論文一覧