日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.22671

抽象から具体へ:視覚言語行動モデルのための行動表現学習

From Abstraction to Instantiation: Learning Behavioral Representation for Vision-Language-Action Model

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの分布シフト下での性能低下に対し、長期的な行動表現を学習するBehaviorVLAを提案。因果Mambaベースのエンコーダと位相条件付きデコーダで、シミュレーションと実世界で高い成功率とデータ効率を達成。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの分布シフト下での性能劣化を解決する研究。 - 時間的に一貫した行動表現 (behavioral representation) を学習する BehaviorVLA を提案。 - 2つの対称的コンポーネント: Visuomotor Behavior Encoder (VBE) と Phase-conditioned Behavior Decoder (PBD)。 - VBE は causal Mamba ベースで長期軌道情報を統合し、PBD はタスクレベル事前と実行進捗を動的に整合して行動を生成。 - RoboTwin 2.0, LIBERO, CALVIN で SOTA 成功率 58%, 98%, 4.36 (Avg.Len) を達成。 - 実世界 sim-to-real 転移で OpenVLA-OFT と同等性能を 50% のデモデータで実現。

2. 先行研究と比べてどこがすごい?

- 既存手法は action-centric latent variables で行動表現を構築するが、short-horizon temporal fragmentation と static execution-alignment に制限され、複雑なシナリオで一貫性のない行動を生じる。 - BehaviorVLA は時間的に一貫した行動表現を学習することでこれらの制限を克服。 - 具体的には、長期軌道情報を統合する VBE と、動的に整合する PBD により、複雑なシナリオでも一貫した行動を実現。 - 実験で SOTA 成功率を達成し、データ効率と汎化性能で優位性を示す。

3. 技術・手法の肝は?

- Visuomotor Behavior Encoder (VBE): causal Mamba-based architecture を用いて long-horizon trajectory information を unified behavior representation に集約。 - Phase-conditioned Behavior Decoder (PBD): この表現を precise actions にデコードする際、task-level priors と real-time execution progress を動的に整合。 - これら2つの対称的コンポーネントにより、時間的に一貫した行動表現を学習。

4. どうやって有効だと検証した?

- RoboTwin 2.0, LIBERO, CALVIN の3つのベンチマークで実験。 - 成功率: RoboTwin 2.0 で 58%, LIBERO で 98%, CALVIN で 4.36 (Avg.Len) を達成し、state-of-the-art を記録。 - 実世界 sim-to-real 転移において、OpenVLA-OFT と同等の性能を 50% のデモデータで実現し、データ効率と汎化性能を検証。

5. 議論はある?

- 要旨からは不明。 - ただし、既存手法の限界として short-horizon temporal fragmentation と static execution-alignment を指摘し、それらを克服することを主張。 - 実世界転移でのデータ効率の向上が示されているが、具体的な議論や限界については要旨に記載なし。

6. 次に読むべき論文は?

- OpenVLA-OFT (比較対象として言及) - 既存の action-centric latent variables を用いた VLA モデル (具体的名称は要旨に無し) - 関連手法: Mamba-based architectures, Vision-Language-Action models, behavior representation learning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bing Hu, Zaijing Li, Rui Shao, Junda Chen, April Hua Liu, Wei-Shi Zheng, Liqiang Nie

分類: cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models often suffer from performance degradation under distribution shifts, as they struggle to learn generalized behavior representations across varying environments. While existing approaches attempt to construct behavior representations through action-centric latent variables, they are often limited by short-horizon temporal fragmentation and static execution-alignment, leading to inconsistent behaviors in complex scenarios. To address these limitations, we propose \textbf{BehaviorVLA}, a framework that facilitates robust manipulation through the learning of a temporally coherent behavioral representations. Our approach features two symmetric components: (1) the \textbf{Visuomotor Behavior Encoder (VBE)}, which utilizes a causal Mamba-based architecture to aggregate long-horizon trajectory information into a unified behavior representation; and (2) the \textbf{Phase-conditioned Behavior Decoder (PBD)}, which decodes this representation into precise actions by dynamically aligning task-level priors with real-time execution progress. Experiments on RoboTwin 2.0, LIBERO, and CALVIN demonstrate state-of-the-art success rates of 58\%, 98\%, and 4.36 (Avg.Len), respectively. Notably, in real-world sim-to-real transfer, BehaviorVLA matches the performance of OpenVLA-OFT using only 50\% of the demonstration data, showcasing its superior data efficiency and generalization.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI