日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

物体目標ナビゲーションarXiv:2508.09423

LLMの事前知識をフローモデルに蒸留し物体目標ナビゲーションの想像力を汎化

Distilling LLM Prior to Flow Model for Generalizable Agent's Imagination in Object Goal Navigation

シェア:XThreadsFacebookLINEはてブBluesky

LLMから得た空間事前知識を2次元ガウス場としてフローモデルに蒸留し、未観測領域の意味マップを生成的に補完することで、未知環境での物体目標ナビゲーションを高精度化した研究。

詳しい要約

1. どんなもの?

- ObjectNav において、未観測領域を想像しながら指定物体を探すエージェントのためのフレームワーク - 提案手法名は GOAL - 観測領域と LLM で enrich した全シーン semantic map を橋渡しする generative flow-based モデル - 屋内レイアウトの不確実性を扱う semantic distribution をモデル化する

2. 先行研究と比べてどこがすごい?

- 先行手法は deterministic かつ discriminative なモデルで semantic map を補完していた - 屋内レイアウトの不確実性を無視しており、未見環境への汎化が限定的だった - GOAL は generative flow-based で semantic distribution を扱い、汎化性の高い補完を実現 - MP3D と Gibson で state-of-the-art、HM3D への transfer 設定でも強い汎化を示す

3. 技術・手法の肝は?

- generative flow-based framework により屋内環境の semantic distribution をモデル化 - 訓練時、LLM から推論した spatial prior を two-dimensional Gaussian fields としてエンコード - その prior を target maps に注入し、flow model に文脈知識を distill - 観測領域と LLM-enriched な全シーン semantic map を橋渡しする設計

4. どうやって有効だと検証した?

- MP3D と Gibson での実験で state-of-the-art 性能を達成 - HM3D への transfer 設定で強い汎化を示す - 詳細な実験設定・指標・ablation は要旨からは不明

5. 議論はある?

- 屋内レイアウトの不確実性を generative に扱う点が設計上の論点 - LLM の spatial prior を Gaussian fields として distill する有効性が焦点 - 限界や失敗ケース、計算コストに関する議論は要旨からは不明

6. 次に読むべき論文は?

- LLM の spatial prior を用いる ObjectNav 関連研究 - semantic map completion を用いる ObjectNav 手法 - generative model(flow-based)によるシーン補完手法 - ベンチマークとして MP3D, Gibson, HM3D を用いる ObjectNav 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Badi Li, Ren-jie Lu, Yu Zhou, Jingke Meng, Wei-shi Zheng

分類: cs.CV, cs.RO

原文アブストラクト

The Object Goal Navigation (ObjectNav) task challenges agents to locate a specified object in an unseen environment by imagining unobserved regions of the scene. Prior approaches rely on deterministic and discriminative models to complete semantic maps, overlooking the inherent uncertainty in indoor layouts and limiting their ability to generalize to unseen environments. In this work, we propose GOAL, a generative flow-based framework that models the semantic distribution of indoor environments by bridging observed regions with LLM-enriched full-scene semantic maps. During training, spatial priors inferred from large language models (LLMs) are encoded as two-dimensional Gaussian fields and injected into target maps, distilling rich contextual knowledge into the flow model and enabling more generalizable completions. Extensive experiments demonstrate that GOAL achieves state-of-the-art performance on MP3D and Gibson, and shows strong generalization in transfer settings to HM3D. Codes and pretrained models are available at https://github.com/Badi-Li/GOAL.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI