日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

対話型ナビゲーションarXiv:2610.17089

到達可能性を超えた対話型ナビゲーション:ベンチマークとエージェントフレームワーク

Interactive Navigation Beyond Reachability: Benchmark and Agentic Framework

シェア:XThreadsFacebookLINEはてブBluesky

ドアを開けて部屋に入り、容器を開けて隠れた目標を発見するなど、環境の状態変化を伴う対話型ナビゲーションのベンチマークと、状態条件付き対話グラフを用いた3段階エージェントフレームワークを提案。

詳しい要約

1. どんなもの?

- 既存のembodied navigationはepisode中にtraversabilityやobject状態が固定と仮定 - 到達にdoor開放やcontainer開放が必要なinteractive navigationを定式化 - channel-inducedなspatial connectivity変化とcontainer-inducedなtarget visibility変化、その逐次依存を統合 - MultINav-Bench: MolmoSpaces上の3K episode ObjectGoal benchmark - channel/container/mixedタスクとinteraction-necessity注釈を含む - MultINav-Agent: persistent state-conditioned interaction graph上の3段階agentic framework

2. 先行研究と比べてどこがすごい?

- 従来は到達可能性や物体状態が固定で、interactionを要する設定を扱わない - channelとcontainerの変化および逐次依存を統合的に扱う点が新しい - interaction-necessity注釈付きbenchmarkを提供 - 評価をnavigation success, interaction effectiveness, costに分離 - 適応baselineよりchannel/container/mixedで一貫して優位と報告

3. 技術・手法の肝は?

- persistent, state-conditioned interaction graphを保持 - 第1段階: semantic interactive perceptionでentityとinteraction stateをgrounding - 第2段階: VLMがconnectivityとtarget observabilityの期待変化に基づきtask-relevant actionを選択 - 第3段階: post-interaction verificationでgraphを更新 - 更新されたgraphが後続のnavigation, exploration, interactionを導く - 3段階を逐次的に統合するagentic framework

4. どうやって有効だと検証した?

- MultINav-Bench上で評価 - channel, container, mixedタスクで実験 - 適応baselineと比較 - MultINav-Agentが一貫して上回る結果 - 評価protocolはnavigation success, interaction effectiveness, costを別々に測定 - 詳細な数値や統計は要旨からは不明

5. 議論はある?

- interaction-necessity注釈でrequired/unnecessary episodeを区別 - 評価を成功・interaction効果・コストに分離する設計 - 逐次依存や不要interactionの扱いが論点になり得る - 限界や失敗事例、計算コストの詳細は要旨からは不明 - 実世界転移や他タスクへの一般化は要旨からは不明

6. 次に読むべき論文は?

- MultINav-Bench - MultINav-Agent - MolmoSpaces - ObjectGoal navigation - embodied navigation - vision-language model (VLM) based navigation - interactive perception - state-conditioned interaction graph

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Delun Li, Xueyao Wei, Rui Chen, Yifei Wang, Junzhi Yu, Wenjie Song, Xingyu Chen

分類: cs.RO, cs.AI

原文アブストラクト

Existing embodied navigation tasks commonly assume that traversability and object states remain fixed during an episode. Yet reaching a goal may require opening a door to access a room and then opening a container to reveal a hidden target. We formulate interactive navigation beyond reachability, unifying channel-induced changes in spatial connectivity, container-induced changes in target visibility, and their sequential dependencies. We introduce MultINav-Bench, a 3K-episode ObjectGoal benchmark in MolmoSpaces spanning channel, container, and mixed tasks, with interaction-necessity annotations covering required and unnecessary episodes. Its data generation pipeline automates task construction across multiple task types. The evaluation protocol separately measures navigation success, interaction effectiveness, and cost. We further propose MultINav-Agent, a three-stage agentic framework built on a persistent, state-conditioned interaction graph. Semantic interactive perception grounds entities and interaction states; a vision-language model selects task-relevant actions based on expected changes in connectivity and target observability; and post-interaction verification updates the graph to guide subsequent navigation, exploration, or interaction. Experiments on MultINav-Bench show that MultINav-Agent consistently outperforms adapted baselines across channel, container, and mixed tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI