日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.24472

G³VLA:視覚言語行動モデルのための幾何学的帰納バイアス

G$^3$VLA: Geometric inductive bias for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

カメラの較正情報を視覚トークンに注入する幾何学モジュールを提案し、既存のVLAモデルの性能を多様なベンチマークで向上させた。

詳しい要約

1. どんなもの?

- カメラのキャリブレーション情報を活用したVision-Language-Action (VLA) モデル「G^3VLA」を提案。 - 視覚トークンを2D画像座標ではなく、カメラの内部・外部パラメータに基づく幾何学的構造に接地させる。 - マルチカメラ設定で既知の内部・外部パラメータを利用し、視覚トークン間の幾何学的関係を注入する。 - アクション空間や模倣目的を変更せず、事前学習済みVLAに組み込めるモジュール。

2. 先行研究と比べてどこがすごい?

- 従来のVLAは視覚トークンを2D画像座標に基づいて処理し、マルチカメラの幾何学的結合を無視していた。 - G^3VLAはキャリブレーション済みの幾何学的情報を視覚トークンに注入することで、空間的・物体感度の高いタスクで大幅な性能向上を実現。 - 深度センサーや手動アノテーションを必要とせず、幾何学的監督を提供する点が新しい。

3. 技術・手法の肝は?

- 内部パラメータ条件付きレイ埋め込み (intrinsic-conditioned ray embeddings)、射影的位置エンコーディング (PRoPE)、双方向クロスビュー融合を組み合わせたカメラ認識幾何モジュール。 - 幾何学的監督は、利用可能な場合は真のポイントマップから、そうでない場合は信頼度ゲート付きπ^3X教師予測から提供。 - 事前学習済みVLAの視覚トークンストリームにキャリブレーション構造を注入し、アクション生成経路に直接アクセスさせる。

4. どうやって有効だと検証した?

- π_0に実装し、LIBEROスイート、RoboCasa24、RoboTwin2.0、実機設定で一貫した性能向上を確認。 - 空間的・物体感度の高いタスクで最大の改善。 - π_0.5とGR00T 1.5でも検証し、幾何学的転移がアクション生成経路への直接アクセスがある場合に最も効果的であることを示唆。

5. 議論はある?

- 幾何学的転移は、幾何認識トークンがアクション生成経路に直接アクセスできる場合に最も効果的であるという結果が得られた。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- π_0、π_0.5、GR00T 1.5、π^3X、PRoPE、LIBERO、RoboCasa24、RoboTwin2.0

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yue Peng, Yongzhe Zhao, Artur Habuda, Khuyen Pham, Yanheng Zhu, Tran Nguyen Le, Fares Abu-Dakka, Li Guo

分類: cs.RO, cs.AI

原文アブストラクト

Vision-language-action (VLA) models have made rapid progress in generalist robot manipulation by harnessing semantic knowledge from pretrained vision-language backbones, but their visual tokens remain grounded in 2D image coordinates rather than the calibrated geometry of the robot's cameras -- a mismatch especially pronounced in multi-camera setups, where views are coupled by known intrinsics and extrinsics yet processed as independent images. We propose G$^3$VLA, a camera-aware geometric module that injects calibrated structure into the visual-token stream of a pretrained VLA without altering its action space or imitation objective, combining intrinsic-conditioned ray embeddings, projective positional encoding (PRoPE), and bidirectional cross-view fusion. Geometric supervision is provided either from ground-truth point maps when available, or from confidence-gated $\pi^3$X teacher predictions, requiring no depth sensors or manual annotations. Instantiated on $\pi_0$, G$^3$VLA yields consistent gains across the LIBERO suites, RoboCasa24, RoboTwin2.0, and real-robot settings, with the largest improvements on spatially and object-sensitive tasks. We further validate on $\pi_{0.5}$ and GR00T 1.5, with results suggesting that geometric transfer is most effective when geometry-aware tokens have direct access to the action generation pathway. Our project page is at https://sites.google.com/view/g3vla

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI