日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.09849

BagelVLA: 視覚・言語・行動の交互生成による長期的マニピュレーションの強化

BagelVLA: Enhancing Long-Horizon Manipulation via Interleaved Vision-Language-Action Generation

シェア:XThreadsFacebookLINEはてブBluesky

言語計画と視覚予測を行動生成ループに交互に組み込み、長期的なロボット操作タスクの性能を高める統合モデルを提案した。

詳しい要約

1. どんなもの?

- 提案手法: BagelVLA - Vision-Language-Action (VLA) モデルの一種 - 言語計画・視覚予測・行動生成を単一フレームワークで統合 - 長期的な操作タスクの性能向上を目的 - 特徴: - 事前学習済みの統合理解・生成モデルから初期化 - テキスト推論と視覚予測を行動実行ループにインターリーブ - Residual Flow Guidance (RFG) を導入し、低遅延で視覚特徴を抽出 - 対象: - 複雑で長期的なロボット操作タスク

2. 先行研究と比べてどこがすごい?

- 先行研究: - 既存のVLAモデルは言語計画か視覚予測のどちらかに焦点 - 両能力を同時に統合して行動生成を導く手法は少ない - 優位性: - 言語計画と視覚予測を同時に統合し、行動生成をガイド - 複雑な長期的操作タスクでの性能が大幅に向上 - 複数ステージの推論を要するタスクで特に優位

3. 技術・手法の肝は?

- 基盤: - 事前学習済みの統合理解・生成モデルから初期化 - 統合: - テキスト推論と視覚予測を行動実行ループにインターリーブ - 技術的肝: - Residual Flow Guidance (RFG) - 現在の観測から初期化 - 単一ステップのdenoisingで予測視覚特徴を抽出 - 最小遅延で行動生成をガイド

4. どうやって有効だと検証した?

- 実験: - 複数のシミュレーションおよび実世界ベンチマークで評価 - 結果: - 既存ベースラインを大幅に上回る性能 - 特に多段階推論を要するタスクで顕著

5. 議論はある?

- 要旨からは不明 - 限界や議論点についての記述なし

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: - 既存のVision-Language-Action (VLA) モデル - 言語計画に焦点を当てた手法 - 視覚予測に焦点を当てた手法 - 関連手法: - Residual Flow Guidance (RFG) - 事前学習済み統合理解・生成モデル

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yucheng Hu, Jianke Zhang, Yuanfei Luo, Yanjiang Guo, Xiaoyu Chen, Xinshu Sun, Kun Feng, Qingzhou Lu, Sheng Chen, Yangang Zhang, Wei Li, Jianyu Chen

分類: cs.RO

原文アブストラクト

Equipping embodied agents with the ability to reason about tasks, foresee physical outcomes, and generate precise actions is essential for general-purpose manipulation. While recent Vision-Language-Action (VLA) models have leveraged pre-trained foundation models, they typically focus on either linguistic planning or visual forecasting in isolation. These methods rarely integrate both capabilities simultaneously to guide action generation, leading to suboptimal performance in complex, long-horizon manipulation tasks. To bridge this gap, we propose BagelVLA, a unified model that integrates linguistic planning, visual forecasting, and action generation within a single framework. Initialized from a pretrained unified understanding and generative model, BagelVLA is trained to interleave textual reasoning and visual prediction directly into the action execution loop. To efficiently couple these modalities, we introduce Residual Flow Guidance (RFG), which initializes from current observation and leverages single-step denoising to extract predictive visual features, guiding action generation with minimal latency. Extensive experiments demonstrate that BagelVLA outperforms existing baselines by a significant margin on multiple simulated and real-world benchmarks, particularly in tasks requiring multi-stage reasoning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI