日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2606.30696

ViTL: 時間論理ガイドによる視覚言語モデルを用いたゼロショット自然言語ナビゲーション

ViTL: Temporal Logic-Guided Zero-Shot Natural Language Navigation via Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

自然言語コマンドを時間論理式に変換し、視覚言語モデルで方向別スコアを生成することで、複数目標を順序付きで探索するゼロショット長期的ナビゲーションを実現した。

詳しい要約

1. どんなもの?

- 自然言語コマンドに従い、ゼロショットで長期的なタスクを完了するロボットナビゲーションのフレームワークViTLを提案。 - 時間的・論理的制約を含むコマンド(例:「椅子かソファのどちらかを掃除してからテレビをつけて」)を扱う。 - 既存のゼロショット物体ナビゲーションは単一ターゲットに限定されていたが、ViTLは複数ターゲットを時間順序制約付きでナビゲートする。

2. 先行研究と比べてどこがすごい?

- 従来のゼロショット物体ナビゲーションはVLMを用いたフロンティア探索で単一ターゲットのみ対応。 - ViTLは時間的制約を持つ複数ターゲットの長期的タスクをゼロショットで実行可能にした点が新しい。 - ナビゲーションレベルでdirectional scoreを導入し、単一ターゲットの精度と効率をベースラインより改善。

3. 技術・手法の肝は?

- タスクレベル:LLMで自然言語コマンドをLinear Temporal Logic (LTL)式にコンパイルし、Deterministic Finite Automata (DFA)に変換。 - DFAがマルチチャネル価値マップを調整し、新物体検出時に動的リプランニングをトリガー。 - ナビゲーションレベル:directional scoreを導入。観測画像上でフロンティア方向をラベル付けし、VLMから方向ごとのスコアを抽出。

4. どうやって有効だと検証した?

- Habitat-Matterport 3D (HM3D) での実験により、時間的制約付き自然言語ナビゲーションタスクのゼロショット長期的完了を実証。 - directional scoreが単一ターゲットナビゲーションの精度と効率をベースラインより改善することを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている先行研究:ゼロショット物体ナビゲーション(VLMを用いたフロンティアベース探索)。 - 関連手法:Linear Temporal Logic (LTL)、Deterministic Finite Automata (DFA)、Vision-Language Models (VLMs)、Large Language Models (LLMs)。 - データセット:Habitat-Matterport 3D (HM3D)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kaier Liang, Hengde Dai, Cristian-Ioan Vasile

分類: cs.RO, cs.CL, cs.LG

原文アブストラクト

Enabling robots to follow natural language commands to complete zero-shot long-horizon tasks remains challenging. It requires extracting implicit temporal and logical constraints from natural language commands and executing multiple sub-tasks accordingly. Recent zero-shot object navigation methods use vision-language models (VLMs) to guide frontier-based exploration in unknown environments, but they are limited to single-target tasks. Real-world commands such as "Clean either the chair or the couch, then turn on the tv." require navigating to multiple targets in a temporally constrained order, which no existing zero-shot system can handle. We present ViTL, a framework that addresses this gap at two levels. At the task level, we use a large language model (LLM) to compile natural language commands into Linear Temporal Logic (LTL) formulas, which are then converted into Deterministic Finite Automata~(DFA) that coordinate multi-channel value maps and trigger dynamic replanning when new objects are detected. At the navigation level, we introduce directional score: rather than producing a direction-agnostic value across the entire field of view, we label frontier directions on the observation image and extract per-direction scores from the VLM. Experiments on Habitat-Matterport 3D (HM3D) show that the full framework enables zero-shot long-horizon completion of natural language navigation tasks with temporal constraints, and that directional score improves single-target navigation accuracy and efficiency over the baseline.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI