日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2607.06882

GemNav: マルチモーダル大規模言語モデルを用いた離散トークン視覚ロボットナビゲーション

GemNav: Discrete-Token Visual Robot Navigation using a Multimodal Large Language Model

シェア:XThreadsFacebookLINEはてブBluesky

凍結したマルチモーダル大規模言語モデルをLoRAで適応させ、離散トークンでウェイポイントを生成するデータ効率の良い視覚ナビゲーションポリシーを提案。8.7時間のデータで未見環境へのゼロショット転移を実証した。

詳しい要約

1. どんなもの?

GemNavは、凍結したMultimodal Large Language Model (MLLM)を視覚ロボットナビゲーションに適応させる手法を提案する。従来の大規模事前学習モデルを用いたナビゲーションポリシーは、専用の視覚エンコーダ、専用のアクションヘッド、数千時間のクロスエンボディメントデータセットでの訓練を必要としたが、GemNavはこれらを不要にする。具体的には、言語タワーのみにLow-Rank Adaptation (LoRA)を適用し、補助的な視覚エンコーダや連続回帰ヘッドを用いずに、短〜中距離のウェイポイントナビゲーションを実現する。ウェイポイントとカテゴリカルなナビゲーション信号は、言語モデルのヘッドが生成する単一の離散トークン語彙を共有し、ソフトデコードによる補助損失が純粋なクロスエントロピー訓練で失われるメトリック構造を回復する。

2. 先行研究と比べてどこがすごい?

先行研究は、大規模事前学習モデルをナビゲーションに使う際、専用の視覚エンコーダやアクションヘッドを追加し、数千時間の大規模データセットで訓練するのが一般的だった。GemNavは、凍結したMLLMの言語タワーのみをLoRAで適応させることで、専用の視覚エンコーダや連続回帰ヘッドを不要にし、訓練データも8.7時間と従来の約3桁小さい規模で済む点が画期的。さらに、離散トークンを用いた単一の語彙でウェイポイントとナビゲーション信号を表現し、ソフトデコード補助損失でメトリック構造を保つことで、データ効率と実世界での展開可能性を高めている。

3. 技術・手法の肝は?

手法の核心は、凍結したMLLMの言語タワーにLoRAを適用し、視覚入力から直接離散トークンとしてウェイポイントとナビゲーション信号を生成すること。視覚エンコーダはMLLMの既存のものを利用し、追加のエンコーダは不要。連続回帰ヘッドの代わりに、言語モデルのヘッドが離散トークンを生成し、ソフトデコードによる補助損失を導入して、クロスエントロピー損失では失われるメトリック(距離など)の構造を学習する。これにより、純粋な離散トークン生成でも正確なナビゲーションが可能になる。

4. どうやって有効だと検証した?

有効性は、単一の8.7時間のオープンコーパスで訓練し、4つの物理的に異なる未見環境(オープンカーパーク、障害物のあるカーパーク、長い屋外ケミカルヤード、屋内倉庫)でのゼロショット転移で検証。20回の実世界試行で、ゴールから0.25〜0.42m以内に停止した。また、短い画像履歴の条件付けがオフラインメトリクスを改善するが、ロボットの性能には寄与しないことも示し、時間的文脈の追加が事前学習済み視覚特徴には限界があることを示唆。

5. 議論はある?

議論として、短い画像履歴の条件付けがオフラインメトリクスを改善する一方で、実際のロボット性能には改善が見られなかった点が挙げられる。これは、事前学習済みの視覚特徴が既に十分な情報を含んでおり、時間的文脈の追加が限界的な効果しかもたらさないことを示唆する。また、データセットが8.7時間と小規模であるにもかかわらず、ゼロショット転移が成功したことは、MLLMの事前学習知識がナビゲーションに有効であることを示すが、長距離ナビゲーションや動的環境での性能は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、大規模事前学習モデルを用いた視覚ナビゲーションの一般的なレシピ(専用視覚エンコーダ、アクションヘッド、クロスエンボディメントデータセット)に関する研究が挙げられる。また、Low-Rank Adaptation (LoRA)やMultimodal Large Language Model (MLLM)の基礎研究、離散トークンを用いたロボット制御の研究が関連する。具体的な論文名は要旨にないため、同分野の定番として、視覚ナビゲーションにおける大規模モデル適用のサーベイや、MLLMのロボット応用に関する論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peter Bohm, Saimunur Rahman, Abdelwahed Khamis, Sagun Man Singh Shrestha, Chris McCool, Peyman Moghadam

分類: cs.RO, cs.AI

原文アブストラクト

Visual navigation policies built on large pretrained models have so far followed a common recipe: a dedicated visual encoder, a bespoke action head, and training on thousands of hours of cross-embodiment datasets. We ask whether this recipe is necessary. In this paper, we introduce GemNav, a visual robot navigation policy that adapts a frozen Multimodal Large Language Model (MLLM) for short-to-medium horizon waypoint navigation using Low-Rank Adaptation (LoRA) on the language tower alone, with no auxiliary visual encoder and no continuous regression head. Waypoints and categorical navigation signals share a single discrete token vocabulary generated by the language-model head, and a soft-decoded auxiliary loss recovers the metric structure that pure cross-entropy training discards. On a single 8.7-hour open corpus, roughly three orders of magnitude smaller than competing training sets, the policy transfers zero-shot to four physically distinct unseen environments and stops within 0.25-0.42m of the goal across 20 real-world trials covering an open carpark, an obstacle carpark, a long outdoor chemical yard, and an indoor warehouse. Conditioning on short image histories improves offline metrics but yields no robot benefit, pointing to a ceiling on what temporal context adds once pretrained vision features are in place. These results indicate that discrete-token adaptation of frozen MLLMs can provide a data-efficient, deployable alternative for foundation model robot navigation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI