日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.05042

BridgeVLA++: 3次元操作のためのデータ効率的で汎化可能なメモリ拡張型視覚言語行動フレームワーク

BridgeVLA++: A Data-Efficient, Generalizable, and Memory-Augmented Vision-Language-Action Framework for 3D Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済み視覚言語モデルを活用した3次元ロボット操作フレームワークBridgeVLAを拡張し、空間的・時間的メモリを統合することで、データ効率と汎化性能を保ちつつ、記憶依存の操作タスクで最先端の性能を達成した。

詳しい要約

1. どんなもの?

BridgeVLA++は、3Dロボット操作のためのデータ効率的で一般化可能なメモリ拡張型Vision-Language-Action (VLA)フレームワークである。事前学習済みのVLMを活用し、3D操作タスクを学習する。前作BridgeVLAを拡張し、空間的文脈と時間的相互作用履歴をモデル化する統合時空間メモリアーキテクチャを導入する。これにより、観測履歴を推論しつつ、データ効率性と一般化能力を維持する。

2. 先行研究と比べてどこがすごい?

既存の3D VLA手法はデータ集約的であり、分布シフト下での一般化が限定的で、過去の観測の明示的なメモリが欠如している。BridgeVLA++は、BridgeVLAのデータ効率性と一般化を維持しながら、メモリ拡張を追加することで、メモリ依存の操作タスクで最先端の性能を達成する。また、バイマニュアル操作や実世界プラットフォームでの有効性も示す。

3. 技術・手法の肝は?

手法の肝は、BridgeVLAの設計(生の点群をマルチビュー画像に投影し、ロボットアクション生成前に中間ヒートマップを予測)に、統合時空間メモリアーキテクチャを追加することである。このメモリは永続的な空間的文脈と時間的相互作用履歴をモデル化し、観測履歴に基づく推論を可能にする。

4. どうやって有効だと検証した?

空間操作タスクで強い性能と堅牢な一般化を示す広範な実験を行った。さらに、2つの挑戦的なメモリ依存操作ベンチマークで最先端の性能を達成し、データ効率性と一般化を犠牲にしないことを確認した。また、バイマニュアル操作設定と追加の実世界ロボットプラットフォームでも有効性を検証し、タスク、環境、ロボットプラットフォームを横断したスケーラビリティを示した。

5. 議論はある?

要旨からは、メモリアーキテクチャの具体的な設計や、データ効率性と一般化のトレードオフに関する詳細な議論は不明である。また、実世界実験の規模や、他のVLA手法との比較における限界についても要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている前作BridgeVLA、および関連する事前学習済みVLMを活用したVLAモデル、3D操作のためのメモリ拡張手法に関する論文が挙げられる。具体的には、BridgeVLAの論文や、3D VLAの既存研究(例:3D点群を用いた操作学習)が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peiyan Li, Yuze Zhu, Yixiang Chen, Qisen Ma, Yuan Xu, Jiabing Yang, He Guan, Yan Huang, Hongtao Wu, Xiao Ma, Tao Kong, Liang Wang, Tieniu Tan

分類: cs.RO

原文アブストラクト

Leveraging pre-trained vision-language models (VLMs) to construct vision-language-action (VLA) models has emerged as a promising paradigm for 3D robot manipulation. However, existing 3D VLA methods remain data-hungry, exhibit limited generalization under distribution shifts, and lack explicit memory of past observations. These limitations hinder their application to data-scarce, open-world, and memory-dependent manipulation scenarios. Our previous work, BridgeVLA, improves data efficiency and generalization by preserving the input--output alignment of a pre-trained VLM during 3D action learning: raw point clouds are projected into multi-view images, and intermediate heatmaps are predicted before generating robot actions. In this work, we develop BridgeVLA++ by equipping BridgeVLA with a unified spatio-temporal memory architecture that models persistent spatial context and temporal interaction history. The resulting memory-augmented framework can reason over observation histories while preserving BridgeVLA's data efficiency and generalization capabilities. Extensive experiments show that our framework achieves strong performance on spatial manipulation tasks while exhibiting robust generalization. BridgeVLA++ further achieves state-of-the-art performance on two challenging memory-dependent manipulation benchmarks without sacrificing the data efficiency and generalization of the original BridgeVLA. In addition, BridgeVLA++ performs effectively in bimanual manipulation settings and is validated on an additional real-world robotic platform, demonstrating its scalability across tasks, environments, and robotic platforms. These results establish BridgeVLA++ as a unified 3D vision-language-action framework that simultaneously supports data-efficient learning, robust generalization, and effective memory-aware robot manipulation. Project website: https://bridgevla-plus.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI