日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.05800

3D CAVLA: 奥行きと3Dコンテキストを活用した未見タスクへの汎化を実現する視覚言語行動モデル

3D CAVLA: Leveraging Depth and 3D Context to Generalize Vision Language Action Models for Unseen Tasks

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルにChain-of-Thought推論、深度認識、関心領域検出を組み込み、未見タスクへの汎化性能を向上させたフレームワークを提案。

詳しい要約

1. どんなもの?

- ロボット操作のための Vision-Language-Action (VLA) モデルの finetuning フレームワーク「3D-CAVLA」 - RGB 画像と言語指示から task space velocities を出力する VLA を対象 - 3D 空間理解を取り入れ、未見タスクへの汎化を狙う - 3つの構成要素 - chain-of-thought reasoning による構造化された意思決定 - depth-aware perception による 3D 空間理解 - task-oriented region-of-interest detection による操作対象への集中 - LIBERO シミュレーションと実機卓上実験で評価

2. 先行研究と比べてどこがすごい?

- 従来の VLA は大規模 teleoperated demonstrations で学習し、task space velocities を予測するが、訓練分布外への汎化が課題 - 3D-CAVLA は finetuning 段階で depth と 3D context を組み込み、未見タスクへの汎化を改善 - 未見タスクで成功率の絶対値 8.8% 向上 (LIBERO) - 実機の未見タスクで成功率 25% 向上 - 学習収束が 3X 以上高速化 - 単なる RGB 入力の VLA に対し、3D シーン認識の有効性を示した点が新規

3. 技術・手法の肝は?

- VLA ポリシーの finetuning フレームワークとして3要素を統合 - chain-of-thought reasoning: 構造化された推論で意思決定を段階化 - depth-aware perception: depth 情報を用いた 3D 空間理解 - task-oriented region-of-interest detection: 操作対象領域の検出に注力 - これらにより real-world observations から低レベル制御への変換を強化 - 具体的なネットワーク構成や学習損失などの詳細は要旨からは不明

4. どうやって有効だと検証した?

- LIBERO シミュレーション環境で多様な in-domain task suites を評価 - 平均成功率 98.1% - 未見タスクで成功率の絶対値 8.8% 改善 - 実世界の卓上実験で sim-to-real の有効性を検証 - 学習収束が 3X 以上高速 - 未見の実世界タスクで成功率 25% 向上 - コードと未見タスクデータセットを公開予定と記載

5. 議論はある?

- 3D シーン認識がロバストな汎化に寄与することを示唆 - 未見タスクへの絶対改善 8.8% (sim) と 25% (real) の要因分析の詳細は要旨からは不明 - chain-of-thought reasoning、depth-aware perception、ROI detection の各要素の寄与度に関する議論は要旨からは不明 - 実機実験のタスク範囲や被験環境の多様性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている研究は明示されていない - 関連手法として以下が想定される - VLA モデル (例: RT-2, OpenVLA などの一般名) - chain-of-thought reasoning を用いたロボット政策 - depth-aware perception を統合した模倣学習 - LIBERO ベンチマークを用いた汎化評価研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Vineet Bhat, Yu-Hsiang Lan, Prashanth Krishnamurthy, Ramesh Karri, Farshad Khorrami

分類: cs.RO, cs.CV

原文アブストラクト

Robotic manipulation in 3D requires effective computation of N degree-of-freedom joint-space trajectories that enable precise and robust control. To achieve this, robots must integrate semantic understanding with visual perception to transform real-world observations into low-level control for object interaction. Recent advances in Vision-Language-Action (VLA) models have shown promise by mapping RGB images and language instructions to task space velocities, typically trained on large datasets of teleoperated demonstrations. However, these models often struggle with generalization beyond their training distributions. In this work, we introduce 3D-CAVLA, a novel finetuning framework that enhances task generalization of VLA policies by incorporating three key components: (i) chain-of-thought reasoning for structured decision-making, (ii) depth-aware perception for 3D spatial understanding, and (iii) task-oriented region-of-interest detection for focused manipulation. Extensive experiments in the LIBERO simulation environment demonstrate that 3D-CAVLA achieves an average success rate of 98.1% across diverse in-domain task suites. On unseen tasks, 3D-CAVLA delivers an absolute improvement of 8.8% in success rate, underscoring the benefits of 3D scene awareness for robust generalization. We validate our approach on real-world tabletop experiments demonstrating that the proposed model translates effectively from simulation to physical robots. 3D-CAVLA achieves over a 3X faster training convergence and delivers a 25% gain in success rate on unseen real world tasks. We will open-source our code and the unseen tasks dataset to promote community-driven research here: https://3d-cavla.github.io

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI