日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.16826

AnyTraverse: VLMと人間オペレータを組み合わせたオフロード走行可能性フレームワーク

AnyTraverse: An off-road traversability framework with VLM and human operator in the loop

シェア:XThreadsFacebookLINEはてブBluesky

自然言語プロンプトと人間オペレータの支援を組み合わせ、多様なロボット車両の走行可能領域をゼロショットでセグメンテーションするフレームワークを提案。未知のシーンでのみオペレータを呼び出すことで監視負荷を抑え、実機検証で既存手法を上回る性能を示した。

詳しい要約

1. どんなもの?

- オフロード走行可能性セグメンテーションのためのフレームワーク「AnyTraverse」 - 自然言語ベースのプロンプトと human operator の支援を組み合わせ、多様なロボット車両の走行可能領域を決定 - 与えられたプロンプト集合でシーンをセグメントし、未探索の景観やプロンプトにない未知クラスに遭遇した時のみ operator を呼ぶ - zero-shot learning により大規模データ収集や再学習を不要にする - 検索救助・軍事・野生動物探索・農業への応用を想定

2. 先行研究と比べてどこがすごい?

- 従来フレームワークの課題 - 非構造環境の大きな変動や不確実なシーン変化に弱い - 異なるロボットタイプに適応できない - AnyTraverse の優位点 - 自然言語プロンプトと human-operator 支援の併用で多様な車両に対応 - 未知シーン・未知クラス時のみ operator を呼ぶことで active supervision 負荷を低減 - zero-shot learning で再学習不要 - 実験で GA-NAV と Off-seg を上回る性能 - vehicle-agnostic なアプローチを実現

3. 技術・手法の肝は?

- 自然言語ベースのプロンプトでシーンをセグメント - human operator を loop に組み込む - 未探索の景観やプロンプトに含まれない未知クラスを region-of-interest 内で検出した時のみ operator を呼ぶ - zero-shot learning を採用し、追加データ収集や再学習を不要にする - 車両非依存(vehicle-agnostic)の走行可能性判定を実現 - 自動化と的を絞った human supervision のバランスを取る設計

4. どうやって有効だと検証した?

- データセットでの検証 - RELLIS-3D - Freiburg Forest - RUGD - 実世界展開 - 複数のロボットプラットフォームで実運用を実証 - 比較結果 - GA-NAV および Off-seg より優れた性能を示す

5. 議論はある?

- 自動化と human supervision のバランスを取る点が議論の焦点 - operator 呼び出しを未知シーン・未知クラスに限定し負荷を低減 - vehicle-agnostic な設計により多様なロボットへの適用可能性を示唆 - 具体的な限界や失敗事例、operator 介入頻度の定量評価などは要旨からは不明

6. 次に読むべき論文は?

- GA-NAV(比較対象の走行可能性ナビゲーション手法) - Off-seg(比較対象のオフロードセグメンテーション手法) - 関連データセット: RELLIS-3D、Freiburg Forest、RUGD - 背景として zero-shot learning を用いたセグメンテーション手法(一般名)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sattwik Sahu, Agamdeep Singh, Karthik Nambiar, Srikanth Saripalli, P. B. Sujit

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Off-road traversability segmentation enables autonomous navigation with applications in search-and-rescue, military operations, wildlife exploration, and agriculture. Current frameworks struggle due to significant variations in unstructured environments and uncertain scene changes, and are not adaptive to be used for different robot types. We present AnyTraverse, a framework combining natural language-based prompts with human-operator assistance to determine navigable regions for diverse robotic vehicles. The system segments scenes for a given set of prompts and calls the operator only when encountering previously unexplored scenery or unknown class not part of the prompt in its region-of-interest, thus reducing active supervision load while adapting to varying outdoor scenes. Our zero-shot learning approach eliminates the need for extensive data collection or retraining. Our experimental validation includes testing on RELLIS-3D, Freiburg Forest, and RUGD datasets and demonstrate real-world deployment on multiple robot platforms. The results show that AnyTraverse performs better than GA-NAV and Off-seg while offering a vehicle-agnostic approach to off-road traversability that balances automation with targeted human supervision.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI