日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.09619

GLaD: 視覚言語行動モデルのための幾何潜在蒸留

GLaD: Geometric Latent Distillation for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

3D幾何情報を知識蒸留でVLAモデルに組み込み、深度センサーや3D注釈なしで空間推論と操作性能を向上させた手法。

詳しい要約

1. どんなもの?

- GLaDは、Vision-Language-Action (VLA) モデルに3D幾何学的事前情報を組み込むgeometry-awareフレームワーク。 - RGB中心の既存VLAが無視しがちな空間推論・manipulationに重要な幾何学的cueを、pretraining時のknowledge distillationで導入。 - 明示的なdepth sensorや3D annotationを必要とせず、Bridge datasetでpretraining。 - LIBEROの4タスクスイートで平均94.1%のsuccess rateを報告。

2. 先行研究と比べてどこがすごい?

- 同一pretraining dataを用いるUniVLA (92.5%) を上回る94.1%の平均success rateをLIBERO 4タスクスイートで達成。 - 幾何学的特徴をvision encoderのみに蒸留するのではなく、visual tokenに対応するLLM hidden statesへalignする点が特徴的。 - depth sensorや3D annotationなしでgeometry-aware pretrainingが空間推論とpolicy generalizationを向上し得ることを示す。

3. 技術・手法の肝は?

- 3D幾何学的priorをpretraining時にknowledge distillationでVLAへ導入。 - frozenのgeometry-aware vision transformer (VGGT) の特徴を教師側として利用。 - visual tokenに対応するLLMのhidden statesをVGGT特徴にalignし、action predictionを駆動するmultimodal表現へ幾何理解を深く統合。 - Bridge dataset上でgeometry distillation mechanismを用いてpretraining。

4. どうやって有効だと検証した?

- Bridge datasetでgeometry distillation付きpretrainingを実施。 - LIBEROの4タスクスイートで評価し、平均94.1%のsuccess rateを報告。 - 同一pretraining dataを使うUniVLA (92.5%) との比較で優位性を示す。 - depth sensorや3D annotationを必要としない設定で有効性を検証。

5. 議論はある?

- 幾何学的特徴をvision encoderのみでなくLLM hidden statesへalignすることの効果を主張。 - 明示的なdepth sensorや3D annotationなしでgeometry-aware pretrainingが可能である点を利点として提示。 - 具体的な限界・失敗事例・計算コスト・ablationの詳細は要旨からは不明。

6. 次に読むべき論文は?

- UniVLA(同一pretraining dataでの比較対象) - VGGT(frozen geometry-aware vision transformerとして蒸留教師に使用) - LIBERO(評価ベンチマーク) - Bridge dataset(pretrainingデータ) - 関連するVLAおよびknowledge distillationを用いたgeometry-aware学習の研究(個別論文名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Minghao Guo, Meng Cao, Jiachen Tao, Rongtao Xu, Yan Yan, Xiaodan Liang, Ivan Laptev, Xiaojun Chang

分類: cs.RO

原文アブストラクト

Most existing Vision-Language-Action (VLA) models rely primarily on RGB information, while ignoring geometric cues crucial for spatial reasoning and manipulation. In this work, we introduce GLaD, a geometry-aware VLA framework that incorporates 3D geometric priors during pretraining through knowledge distillation. Rather than distilling geometric features solely into the vision encoder, we align the LLM's hidden states corresponding to visual tokens with features from a frozen geometry-aware vision transformer (VGGT), ensuring that geometric understanding is deeply integrated into the multimodal representations that drive action prediction. Pretrained on the Bridge dataset with this geometry distillation mechanism, GLaD achieves 94.1% average success rate across four LIBERO task suites, outperforming UniVLA (92.5%) which uses identical pretraining data. These results validate that geometry-aware pretraining enhances spatial reasoning and policy generalization without requiring explicit depth sensors or 3D annotations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI