日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2607.17806

PGN: 盤古マルチモーダル基盤モデルに基づく視覚言語ナビゲーションシステムの設計と実装

PGN: Design and Implementation of a Vision-Language Navigation System Based on Pangu Multimodal Foundation Model

シェア:XThreadsFacebookLINEはてブBluesky

盤古マルチモーダル基盤モデルを用いたオフラインの視覚言語ナビゲーション行動予測システムを構築し、2段階の学習と8つのNPUでの実装により、専門家軌跡に対する行動一致率62.29%を達成した。

詳しい要約

1. どんなもの?

PGN (Pangu Navigator) は、OpenPangu-7B を基盤としたオフラインの Vision-Language Navigation (VLN) 行動予測システム。自然言語の指示と時系列の視覚観測から行動を予測する。2段階の訓練プロセスを採用し、8基の Ascend 910B NPU 上で動作する。

2. 先行研究と比べてどこがすごい?

マルチモーダル大規模言語モデルを VLN に適応させる際の課題(視覚と言語のアライメント、時間的入力の圧縮、行動空間への接地、安定した訓練)に対し、凍結した視覚エンコーダと言語バックボーンを用い、Q-Former と MLP プロジェクタでアライメントする点、およびエキスパート軌跡からの適応で構造トークン埋め込みと LoRA を更新する点が新しい。

3. 技術・手法の肝は?

手法の肝は、2段階訓練。第1段階で凍結した EVA-ViT-G/14 視覚エンコーダと凍結した言語バックボーンを Q-Former と2層 MLP プロジェクタでアライメント。第2段階で、5つの観測ウィンドウ、エポック依存の時間サンプリング、推論-行動の出力形式を用いてエキスパート軌跡に適応。視覚経路は凍結し、3つの構造トークン埋め込みと LoRA アダプタのみ更新。実装は混合精度、選択的 FP32、DeepSpeed ZeRO-2 を使用。

4. どうやって有効だと検証した?

教師強制によるオープンループ評価を、500件のホールドアウトされたエキスパート軌跡で実施。V9 は Normalized Action Match (NAM) 62.29%、Non-empty Rate (NER) 100.00% を達成。

5. 議論はある?

評価指標はオフラインのエキスパート行動との一致度を測るものであり、閉ループのナビゲーション成功率ではない。誤差の蓄積、経路効率、ゴール達成の評価は将来の課題とされている。

6. 次に読むべき論文は?

要旨からは不明。関連手法として、Vision-Language Navigation (VLN) の既存研究や、マルチモーダル基盤モデルの VLN への適応手法が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Li Xian, Mingxi Li, Yizheng Wang, Yiming Shen, Qi Chen, Zhuoling Xiao

分類: cs.AI

原文アブストラクト

Vision-Language Navigation (VLN) requires an embodied agent to interpret a natural-language instruction and predict actions from temporally ordered visual observations. Adapting a multimodal large language model to VLN requires visual-language alignment, compact temporal inputs, action-space grounding, and stable training on the target hardware. This technical report presents PGN (Pangu Navigator), an offline VLN action-prediction system built on OpenPangu-7B. Training proceeds in two stages. First, PGMM aligns a frozen EVA-ViT-G/14 vision encoder with the frozen language backbone by training a Q-Former and a two-layer MLP projector. Second, PGN adapts the aligned model to expert navigation trajectories using five-observation windows, epoch-dependent temporal sampling, and a reasoning-then-action output format; this stage freezes the aligned visual pathway and updates three structural-token embeddings and LoRA adapters. The implementation combines mixed-precision computation, selective FP32 computation, and DeepSpeed ZeRO-2 on eight Ascend 910B NPUs. Under teacher-forced, open-loop evaluation on 500 held-out expert trajectories, V9 reports a 62.29% Normalized Action Match (NAM) and a 100.00% Non-empty Rate (NER). These metrics quantify offline expert-action alignment rather than closed-loop navigation success; evaluating error accumulation, path efficiency, and goal completion remains future work.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI