日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2607.15758

SkillNav: スコアレベルスキル介入によるゼロショット物体目標ナビゲーション

SkillNav: Score-Level Skill Intervention for Zero-Shot Object Goal Navigation

シェア:XThreadsFacebookLINEはてブBluesky

VLMベースのナビゲーションエージェントに、地図上の好奇心価値マップを書き換える形で行動記憶を埋め込むスキルフレームワークを提案し、追加トークンなしでデッドエンドやループなどの失敗を軽減する。

詳しい要約

1. どんなもの?

- VLMベースのzero-shot object-goal navigation向けの拡張可能なbehavioral skill framework「SkillNav」 - 現代のVLM navigatorが保持するcuriosity value mapを書き込み可能な基盤とみなし、composableなskillがbehavioral memoryをzero token costで刻む - skillはbehavioral authorityの度合いで3層に分類: soft scaling(比例的再重み付け)、lower-bound boost(領域レベルの保証)、hard override(閾値トリガの強制行動) - 固定のcomposition orderで層間協調し、skill間の優先順位を予測可能に宣言 - 最小限のprompt channelがcategory-level semantic hintを補完し、spatial memoryはmap、semantic memoryは短いpromptというdual-representation設計 - training-free…

2. 先行研究と比べてどこがすごい?

- 単一フレーム推論のVLM agentはcross-step behavioral awarenessを欠き、dead-end stalls、in-room loops、circuitous approachesなどの失敗を繰り返す - promptベースの対策はmulti-submodule episodeでtoken budgetを膨張させ、angles、map cells、viewpoint coordinatesなどの本質的にspatialな信号の符号化に苦戦 - SkillNavはcuriosity value mapをwritable substrateとして扱い、skillをzero token costで刻む点が異なる - 能力改善をskill registrationに変換し、VLMの再学習や既存skillの破壊なしに新behaviorをplug-in可能 - 最強のprior method比でSPLを最大6.0 absolute改善

3. 技術・手法の肝は?

- curiosity value mapを書き込み可能な基盤とし、composable skillがbehavioral memoryを刻む - skillをbehavioral authorityの3層に階層化: soft scaling(比例的再重み付け)、lower-bound boost(領域レベル保証)、hard override(閾値トリガ強制行動) - 固定のcomposition orderで層間協調し、skill間の優先順位を予測可能に宣言 - 最小限のprompt channelがcategory-level semantic hintを補完 - spatial memoryはmap、semantic memoryは短いpromptというdual-representation設計 - training-freeで動作し、VLM再学習不要

4. どうやって有効だと検証した?

- MP3D、HM3D v0.1、HM3D v0.2で評価 - SPLで新SOTA: MP3D 25.5、HM3D v0.1 39.3、HM3D v0.2 43.2 - 最強のprior method比でSPLを最大6.0 absolute改善 - HM3D v0.1(69.7)とv0.2(75.9)で最高Success Rateを達成

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- VLMベースのzero-shot object-goal navigationのprior method(要旨で具体的名称は不明) - curiosity value mapを保持する現代のVLM navigator - promptベースのremedy手法 - 同分野の定番としてobject-goal navigation、vision-language navigation、embodied AIの関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruijie Sang, Yiqun Duan, Pinhan Fu, Ruilin Wang, Wei Sui, Xianda Guo

分類: cs.RO

原文アブストラクト

Vision-Language Model (VLM) agents have advanced zero-shot object-goal navigation, yet single-frame reasoning leaves them without the cross-step behavioral awareness an embodied navigator requires, producing recurring failures such as dead-end stalls, in-room loops, and circuitous approaches to detected targets. Prompt-based remedies inflate token budgets across multi-submodule episodes and still struggle to encode inherently spatial signals such as angles, map cells, and viewpoint coordinates. In this paper, we propose SkillNav, an extensible behavioral skill framework for VLM-based navigation that treats the curiosity value map already maintained by modern VLM navigators as a writable substrate on which composable skills inscribe behavioral memory at zero token cost. Skills are stratified into three tiers by their level of behavioral authority, namely soft scaling for proportional reweighting, lower-bound boost for region-level guarantees, and hard override for threshold-triggered forced actions, and cooperate across tiers under a fixed composition order that establishes a predictable, declared priority among skills. This design turns capability improvement into skill registration: new behaviors plug in without retraining the VLM or disturbing existing skills, opening a path for continual refinement. A minimal prompt channel complements the score-level skills with category-level semantic hints, yielding a dual-representation design in which spatial memory lives on the map and semantic memory in short prompts. Training-free, SkillNav establishes new state-of-the-art SPL across MP3D (25.5), HM3D v0.1 (39.3), and HM3D v0.2 (43.2), improving SPL by up to 6.0 absolute over the strongest prior method, and achieves the highest Success Rate on HM3D v0.1 (69.7) and v0.2 (75.9).

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI