日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.07961

BridgeVLA: 視覚言語モデルによる効率的な3Dマニピュレーション学習のための入出力アラインメント

BridgeVLA: Input-Output Alignment for Efficient 3D Manipulation Learning with Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

3D入力を複数の2D画像に投影し、2Dヒートマップで行動予測を行うことで、VLMを活用した3Dマニピュレーション学習を効率化する手法を提案。

詳しい要約

1. どんなもの?

- 3D 操作学習のための新しい VLA モデル「BridgeVLA」 - VLM backbone を用いたロボット操作学習手法 - 3D 入力を複数の 2D 画像に投影し、VLM の入力形式に合わせる - 行動予測に 2D heatmap を用い、入出力を一貫した 2D 画像空間に統一 - 目的は 3D 信号を VLM に取り込みつつ sample efficiency を高めること - 3 つの simulation benchmark と実機実験で評価

2. 先行研究と比べてどこがすごい?

- 従来は 3D 信号を VLM に取り込む手法が少なく、取り込んでも 3D データの空間構造を十分活用できず sample efficiency が低かった - BridgeVLA は入力(3D→2D 投影)と出力(2D heatmap)を 2D 画像空間で揃える点が新しい - 結果として SOTA baseline を上回る - RLBench: 平均成功率 81.4%→88.2% - COLOSSEUM: 56.7%→64.0% - GemBench: 比較 baseline すべてを上回る - 実機: SOTA baseline より平均 32% 向上

3. 技術・手法の肝は?

- 3D 入力を複数の 2D 画像へ投影し、VLM backbone の入力と整合させる(input alignment) - 行動予測に 2D heatmap を用い、入力空間と出力空間を一貫した 2D 画像空間に統一 - VLM backbone に 2D heatmap 予測能力を付与する scalable な pre-training 手法を提案 - downstream の policy learning 前に実施 - これにより 3D 操作を効率的かつ効果的に学習

4. どうやって有効だと検証した?

- 3 つの simulation benchmark で評価 - RLBench: 平均成功率 81.4%→88.2% - COLOSSEUM: 難易度の高い generalization 設定で 56.7%→64.0% - GemBench: 比較 baseline すべてを平均成功率で上回る - 実機実験 - SOTA baseline より平均 32% 向上 - 視覚的撹乱や未見 instruction を含む複数の out-of-distribution 設定で頑健に汎化 - 10+ タスクで各タスク 3 trajectory のみで成功率 96.8% を達成

5. 議論はある?

- 要旨からは不明 - 限界や失敗事例、計算コスト、pre-training の詳細な議論は記述なし - 主張されている点 - 2D 画像空間への統一が sample efficiency と汎化に寄与 - 実機で視覚的撹乱・未見 instruction に頑健 - 具体的な議論・制約は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている baseline・benchmark 関連 - RLBench - COLOSSEUM - GemBench - 関連手法として VLM を用いた VLA モデル全般(具体的な論文名は要旨からは不明) - 3D 信号を VLM に取り込む既存手法(具体的名称は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peiyan Li, Yixiang Chen, Hongtao Wu, Xiao Ma, Xiangnan Wu, Yan Huang, Liang Wang, Tao Kong, Tieniu Tan

分類: cs.RO, cs.AI

原文アブストラクト

Recently, leveraging pre-trained vision-language models (VLMs) for building vision-language-action (VLA) models has emerged as a promising approach to effective robot manipulation learning. However, only few methods incorporate 3D signals into VLMs for action prediction, and they do not fully leverage the spatial structure inherent in 3D data, leading to low sample efficiency. In this paper, we introduce BridgeVLA, a novel 3D VLA model that (1) projects 3D inputs to multiple 2D images, ensuring input alignment with the VLM backbone, and (2) utilizes 2D heatmaps for action prediction, unifying the input and output spaces within a consistent 2D image space. In addition, we propose a scalable pre-training method that equips the VLM backbone with the capability to predict 2D heatmaps before downstream policy learning. Extensive experiments show the proposed method is able to learn 3D manipulation efficiently and effectively. BridgeVLA outperforms state-of-the-art baseline methods across three simulation benchmarks. In RLBench, it improves the average success rate from 81.4% to 88.2%. In COLOSSEUM, it demonstrates significantly better performance in challenging generalization settings, boosting the average success rate from 56.7% to 64.0%. In GemBench, it surpasses all the comparing baseline methods in terms of average success rate. In real-robot experiments, BridgeVLA outperforms a state-of-the-art baseline method by 32% on average. It generalizes robustly in multiple out-of-distribution settings, including visual disturbances and unseen instructions. Remarkably, it is able to achieve a success rate of 96.8% on 10+ tasks with only 3 trajectories per task, highlighting its extraordinary sample efficiency. Project Website:https://bridgevla.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI