日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.05026

GeoBridge-VLA:視覚言語行動モデルのための幾何認識残差適応

GeoBridge-VLA: Geometry-Aware Residual Adaptation for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みVLAの視覚エンコーダを凍結したまま幾何特徴を学習し、残差インターフェースで行動予測を強化する二段階手法を提案。LIBEROで70.9%、実機で74.0%の成功率を達成した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルに幾何学的特徴を組み込む手法 - 二段階学習: Stage I で feature bridge と geometry decoder を depth supervision で訓練 - Stage II でこれらを凍結し、gated residual interface と action-side projections, action expert を訓練 - 推論時は RGB, robot state, language のみで depth 不要 - LIBERO と実機 ROBOTIS OMY で評価

2. 先行研究と比べてどこがすごい?

- 従来の VLA は vision-language pretraining の意味情報を符号化するが、 manipulation には精密な空間推論が必要 - 既存手法は第二の image encoder を追加したり token 数を増やす傾向 - GeoBridge-VLA は residual で既存 visual tokens を拡張し、追加 encoder や token 増加なし - LIBERO で 70.9% 成功、SmolVLA の 60.0% を上回る - 実機で 74.0% (148/200) 成功、SmolVLA の 54.0% (108/200) を上回る

3. 技術・手法の肝は?

- 二段階学習: Stage I で feature bridge と geometry decoder を depth supervision で訓練 - Stage II でこれらを凍結し、gated residual interface と action-side projections, action expert を訓練 - residual は既存 visual tokens を拡張し、第二の image encoder や token 数増加を回避 - 推論時は RGB, robot state, language のみで depth 不要

4. どうやって有効だと検証した?

- LIBERO ベンチマークで評価: GeoBridge-VLA 70.9% vs SmolVLA 60.0% - 同一学習済みチェックポイントで residual を無効化すると 70.90% から 69.85% に低下、スイートにより効果混在 - 実機 ROBOTIS OMY で 4 タスク、200 試行中 148 成功 (74.0%)、SmolVLA は 108/200 (54.0%)

5. 議論はある?

- residual 無効化で成功率が 70.90% から 69.85% に低下するが、スイートにより効果が混在 - 幾何学的特徴の寄与がタスク依存である可能性 - 実機とシミュレーションの両方で有効性を示すが、詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- SmolVLA (比較対象) - LIBERO (ベンチマーク) - ROBOTIS OMY (実機プラットフォーム) - Vision-Language-Action (VLA) モデル全般 - 関連手法: 幾何学的特徴学習、depth supervision、residual adaptation

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hyun Song, Kangmin Kim, Loren Jinsoo Um, Minhui Han, Jaehyeok Park, Taewan Cho, Andrew Jaeyong Choi

分類: cs.CV, cs.RO

原文アブストラクト

Vision-language-action (VLA) models encode semantic information from vision-language pretraining, but manipulation also requires precise spatial reasoning. We present GeoBridge-VLA, a two-stage method for learning geometric features from a pretrained VLA's frozen visual encoder and using them for action prediction. Stage I trains a feature bridge and geometry decoder with depth supervision. Stage II freezes these modules and trains a gated residual interface together with the action-side projections and action expert. The residual augments the existing visual tokens without adding a second image encoder or increasing the token count. Deployment requires RGB, robot state, and language, but no depth observations. Under matched evaluation conditions, GeoBridge-VLA achieves 70.9% success on LIBERO, compared with 60.0% for SmolVLA. Disabling the residual in the same trained checkpoint reduces success from 70.90% to 69.85%, with mixed effects across suites. On a physical ROBOTIS OMY robot, GeoBridge-VLA succeeds in 148 of 200 trials (74.0%) across four tasks, compared with 108 of 200 (54.0%) for SmolVLA.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI