日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2601.03956

CoINS: スキル認識VLMによる反事実的インタラクティブナビゲーション

CoINS: Counterfactual Interactive Navigation via Skill-Aware VLM

シェア:XThreadsFacebookLINEはてブBluesky

VLMにロボットのスキル能力を組み込み、障害物を除去すべきか反事実的に推論して経路を切り開く階層型ナビゲーション手法を提案。

詳しい要約

1. どんなもの?

- 本論文は、ロボットが散らかった環境を能動的に改変して経路を確保する「interactive navigation」のための階層的フレームワーク CoINS を提案する。 - VLM を fine-tune した InterNav-VLM が skill affordance と制約パラメータを入力に取り、counterfactual reasoning で物体除去の因果効果を評価して interaction の必要性と対象を決定する。 - 高レベル計画を実行するため、強化学習で構築した skill library を用意し、多様な物体を操作して経路を開く。 - Isaac Sim 上のベンチマークと実世界実験で評価し、代表的な baseline を上回る性能を示す。

2. 先行研究と比べてどこがすごい?

- 従来の VLM ベース navigator は主に受動的な障害物回避に限定され、いつ・どのように物体と相互作用して塞がれた経路を開くかを推論できなかった。 - 既存 VLM は意味推論器として機能し、特定ロボットの物理的能力を内在的に理解していない。 - CoINS は skill-aware reasoning と counterfactual reasoning を統合し、interaction の必要性と対象選択を暗黙的に評価できる点が新しい。 - 強化学習による skill library で多様な物体操作を実現し、経路確保のための traversability-oriented 戦略を導入している。

3. 技術・手法の肝は?

- 階層的フレームワークで、高レベル推論と低レベル実行を分離。 - InterNav-VLM を fine-tune し、skill affordance と concrete constraint parameters を入力コンテキストに組み込み、metric-scale 環境表現に接地する。 - InterNav dataset での fine-tuning により counterfactual reasoning の論理を内在化し、物体除去が navigation connectivity に与える因果効果を暗黙的に評価。 - 強化学習で構築した skill library が高レベル計画を実行し、traversability-oriented 戦略で多様な物体を操作して経路を開く。

4. どうやって有効だと検証した?

- Isaac Sim 上で interactive navigation の推論と実行の両面を評価する系統的ベンチマークを提案。 - 広範なシミュレーションと実世界実験を実施。 - 代表的な baseline と比較し、全体成功率が 17% 向上、複雑な long-horizon シナリオで 80% 以上の改善を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法として VLM-based navigators、passive obstacle avoidance を採用する既存研究、強化学習による skill library 構築手法が挙げられる。同分野の定番として Vision-Language Models (VLMs) を用いた robotic planning や interactive navigation の研究が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kangjie Zhou, Zhejia Wen, Zhiyong Zhuo, Zike Yan, Pengying Wu, Ieng Hou U, Shuaiyang Li, Han Gao, Kang Ding, Wenhan Cao, Wei Pan, Chang Liu

分類: cs.RO

原文アブストラクト

Recent Vision-Language Models (VLMs) have demonstrated significant potential in robotic planning. However, they typically function as semantic reasoners, lacking an intrinsic understanding of the specific robot's physical capabilities. This limitation is particularly critical in interactive navigation, where robots must actively modify cluttered environments to create traversable paths. Existing VLM-based navigators are predominantly confined to passive obstacle avoidance, failing to reason about when and how to interact with objects to clear blocked paths. To bridge this gap, we propose Counterfactual Interactive Navigation via Skill-aware VLM (CoINS), a hierarchical framework that integrates skill-aware reasoning and robust low-level execution. Specifically, we fine-tune a VLM, named InterNav-VLM, which incorporates skill affordance and concrete constraint parameters into the input context and grounds them into a metric-scale environmental representation. By internalizing the logic of counterfactual reasoning through fine-tuning on the proposed InterNav dataset, the model learns to implicitly evaluate the causal effects of object removal on navigation connectivity, thereby determining interaction necessity and target selection. To execute the generated high-level plans, we develop a comprehensive skill library through reinforcement learning, specifically introducing traversability-oriented strategies to manipulate diverse objects for path clearance. A systematic benchmark in Isaac Sim is proposed to evaluate both the reasoning and execution aspects of interactive navigation. Extensive simulations and real-world experiments demonstrate that CoINS significantly outperforms representative baselines, achieving a 17\% higher overall success rate and over 80\% improvement in complex long-horizon scenarios compared to the best-performing baseline

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI