日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.14117

GeoAware-VLA: 幾何学認識を組み込んだ視覚-言語-行動モデル

GeoAware-VLA: Implicit Geometry Aware Vision-Language-Action Model

シェア:XThreadsFacebookLINEはてブBluesky

凍結した幾何学視覚モデルを特徴抽出器として使い、軽量な投影層でポリシーに適応させることで、未見のカメラ視点への汎化性能を大幅に向上させたVLAモデル。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの新手法 GeoAware-VLA を提案する研究 - 未見のカメラ視点への汎化性能を高めることを目的とする - 2D 画像から堅牢な 3D geometry を推論しにくいという VLA の課題に対処 - 視覚 backbone に強い幾何 prior を統合する簡潔かつ効果的なアプローチ - LIBERO と CALVIN の benchmark、および実機ロボットで評価

2. 先行研究と比べてどこがすごい?

- 視覚 encoder を新規に学習したり明示的な 3D データに依存したりしない点が特徴 - 凍結した pretrained geometric vision model を feature extractor として利用 - 従来の VLA baseline と比較して、in-distribution 性能を維持しつつ未見視点への zero-shot 汎化を大幅改善 - LIBERO で未見視点の成功率が平均 35 percentage points 向上 - CALVIN では 11 percentage points 以上向上 - 実機ロボットでも有意な改善を確認

3. 技術・手法の肝は?

- 凍結した pretrained geometric vision model を feature extractor として使用 - 幾何的に豊かな特徴を lightweight で trainable な projection layer で適応 - 適応後の特徴を policy decoder に渡す構成 - policy decoder が 3D consistency をゼロから学習する負担を軽減 - 明示的な 3D データや視覚 encoder の新規学習を必要としない - 連続・離散の両 action space で有効

4. どうやって有効だと検証した?

- LIBERO と CALVIN の benchmark で評価 - 未見カメラ視点への zero-shot 汎化性能を測定 - LIBERO で未見視点成功率が baseline 比 平均 35 percentage points 向上 - CALVIN で 11 percentage points 以上向上 - in-distribution 性能の維持・向上も確認 - 実ロボットプラットフォームでの実験により物理世界への転移を検証

5. 議論はある?

- 堅牢な幾何 grounding が汎化可能なロボティクス agent 構築の鍵であると主張 - 凍結した geometric vision model の利用が有効であることを示唆 - 連続・離散 action space の両方で効果を確認 - 具体的な限界や失敗ケース、計算コストに関する議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較対象として言及される VLA baseline 群(LIBERO・CALVIN 上の既存 VLA モデル) - 凍結 feature extractor として用いられた pretrained geometric vision model に関する論文 - 視点不変性や 3D geometry 推論を扱う geometric vision 関連研究 - LIBERO および CALVIN benchmark の原論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ali Abouzeid, Malak Mansour, Qinbo Sun, Zezhou Sun, Dezhen Song

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models often fail to generalize to unseen camera viewpoints, a limitation stemming from their difficulty in inferring robust 3D geometry from 2D images. We introduce GeoAware-VLA, a simple yet effective approach that enhances viewpoint invariance by integrating strong geometric priors into the vision backbone. Instead of training a visual encoder or relying on explicit 3D data, we leverage a frozen, pretrained geometric vision model as a feature extractor. A lightweight, trainable projection layer then adapts these geometrically-rich features for the policy decoder, relieving it of the burden of learning 3D consistency from scratch. Through extensive evaluations on the LIBERO and CALVIN benchmarks, we show that GeoAware-VLA preserves and even improves in-distribution performance while achieving substantial gains in zero-shot generalization to unseen camera poses, improving unseen-view success rates by an average of 35 percentage points on LIBERO and over 11 percentage points on CALVIN compared to their respective baselines. Crucially, these gains transfer to the physical world, where our model shows significant improvement on a real robotic platform. Our approach proves effective across both continuous and discrete action spaces, highlighting that robust geometric grounding is a key ingredient for building more generalizable robotic agents.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI