日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.13733

FSR-VLN: 階層的マルチモーダルシーングラフによる視覚言語ナビゲーションの高速・低速推論

FSR-VLN: Fast and Slow Reasoning for Vision-Language Navigation with Hierarchical Multi-modal Scene Graph

シェア:XThreadsFacebookLINEはてブBluesky

階層的マルチモーダルシーングラフと高速・低速推論を組み合わせ、長距離視覚言語ナビゲーションの成功率を向上させつつ応答時間を82%削減し、ヒューマノイドロボットに実装した。

詳しい要約

1. どんなもの?

- ロボット向けの Vision-Language Navigation (VLN) システム「FSR-VLN」の提案 - 構成要素は Hierarchical Multi-modal Scene Graph (HMSG) と Fast-to-Slow Navigation Reasoning (FSR) - HMSG は room-level から goal view・object まで段階的に検索できるマルチモーダル地図表現 - FSR は高速マッチングで候補を絞り、必要時のみ VLM による精緻化を行う二段構えの推論 - Unitree-G1 humanoid robot 上で音声対話・planning・control と統合し実時間ナビゲーションを実現

2. 先行研究と比べてどこがすごい?

- 既存 VLN 手法は長距離 spatial reasoning が弱く、成功率低下と推論遅延が課題 - FSR-VLN は 4 つの屋内データセット全てで retrieval success rate (RSR) の SOTA を達成 - VLM ベース手法と比べ tour videos で応答時間を 82% 削減 - 高速な直感が失敗した時のみ slow reasoning を起動する設計が遅延削減に寄与 - 87 の指示と多様な物体カテゴリを含む humanoid robot 収集データで評価

3. 技術・手法の肝は?

- Hierarchical Multi-modal Scene Graph (HMSG) による多モーダル地図の階層化 - 検索は coarse な room-level から fine-grained な goal view・object へ進む progressive retrieval - FSR の fast matching で candidate room・view・object を効率的に選別 - 最終 goal 選択は VLM-driven refinement で精緻化 - slow reasoning は fast intuition が失敗した場合に限定起動する切替設計

4. どうやって有効だと検証した?

- humanoid robot が収集した 4 つの屋内データセットで評価 - 87 指示・多様な物体カテゴリを対象に RSR で比較 - 全データセットで SOTA の RSR を達成 - tour videos で VLM ベース手法比 82% の応答時間削減を確認 - Unitree-G1 humanoid robot に speech interaction・planning・control と統合し実機動作を実証

5. 議論はある?

- 長距離 spatial reasoning の改善と推論遅延削減の両立を主張 - fast/slow の切替により計算コストを抑える設計の有効性を示唆 - 評価は屋内・humanoid robot 収集データに限定され、屋外や他ロボットへの一般化は要旨からは不明 - 87 指示という評価規模の妥当性や詳細な失敗分析は要旨からは不明 - HMSG 構築コストや地図更新の扱いは要旨からは不明

6. 次に読むべき論文は?

- VLM を用いた VLN の代表的手法(VLM-based VLN、例: 視覚言語モデルによる goal selection 研究) - 階層的 scene graph を用いたナビゲーション研究(Hierarchical Scene Graph 系) - fast/slow 二系統推論の関連研究(dual-process / fast-to-slow reasoning) - 長距離 VLN ベンチマーク(屋内ナビゲーションの定番データセット) - humanoid robot 上の embodied navigation 実機統合研究(Unitree-G1 関連)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaolin Zhou, Tingyang Xiao, Liu Liu, Yucheng Wang, Maiyue Chen, Xinrui Meng, Xinjie Wang, Wei Feng, Wei Sui, Zhizhong Su

分類: cs.RO

原文アブストラクト

Visual-Language Navigation (VLN) is a fundamental challenge in robotic systems, with broad applications for the deployment of embodied agents in real-world environments. Despite recent advances, existing approaches are limited in long-range spatial reasoning, often exhibiting low success rates and high inference latency, particularly in long-range navigation tasks. To address these limitations, we propose FSR-VLN, a vision-language navigation system that combines a Hierarchical Multi-modal Scene Graph (HMSG) with Fast-to-Slow Navigation Reasoning (FSR). The HMSG provides a multi-modal map representation supporting progressive retrieval, from coarse room-level localization to fine-grained goal view and object identification. Building on HMSG, FSR first performs fast matching to efficiently select candidate rooms, views, and objects, then applies VLM-driven refinement for final goal selection. We evaluated FSR-VLN across four comprehensive indoor datasets collected by humanoid robots, utilizing 87 instructions that encompass a diverse range of object categories. FSR-VLN achieves state-of-the-art (SOTA) performance in all datasets, measured by the retrieval success rate (RSR), while reducing the response time by 82% compared to VLM-based methods on tour videos by activating slow reasoning only when fast intuition fails. Furthermore, we integrate FSR-VLN with speech interaction, planning, and control modules on a Unitree-G1 humanoid robot, enabling natural language interaction and real-time navigation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI