日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2605.13276

D-VLA: 視覚言語行動モデルのための高並列分散非同期強化学習フレームワーク

D-VLA: A High-Concurrency Distributed Asynchronous Reinforcement Learning Framework for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

大規模VLAモデルへの強化学習適用時のリソース競合を解決するため、物理分離と非同期パイプラインを備えた分散RLフレームワークD-VLAを提案し、スループットとサンプリング効率を大幅に向上させた。

詳しい要約

1. どんなもの?

- 目的: VLAモデル向けの高並列・低遅延な分散RLフレームワークD-VLAを提案。 - 課題: 大規模分散環境でRLを適用する際、物理シミュレーションと深層学習のVRAM/帯域競合がボトルネック。 - 特徴: Plane Decoupling、4スレッド非同期Swimlaneパイプライン、dual-pool VRAM管理、topology-aware replication。 - 対象: 十億〜兆パラメータ級のembodied foundation model。

2. 先行研究と比べてどこがすごい?

- 従来のRLフレームワークは、シミュレーションと最適化の資源競合によりスループットが実行フェーズの非効率に制約される。 - D-VLAはPlane Decouplingで高頻度訓練データと低頻度重み制御を物理的に分離し干渉を排除。 - 4スレッド非同期パイプラインでサンプリング・推論・勾配計算・パラメータ配布を完全並列オーバーラップ。 - 結果として、十億パラメータVLAモデルでスループットとサンプリング効率が主流RLフレームワークを大幅に上回る。

3. 技術・手法の肝は?

- Plane Decoupling: 高頻度の訓練データと低頻度の重み制御を物理的に分離し、シミュレーションと最適化の干渉を排除。 - 4スレッド非同期Swimlaneパイプライン: サンプリング、推論、勾配計算、パラメータ配布を完全並列にオーバーラップ。 - dual-pool VRAM管理モデル: メモリ断片化を解消。 - topology-aware replication: 通信効率を最適化。

4. どうやって有効だと検証した?

- LIBEROなどのベンチマークで実験。 - 十億パラメータVLAモデルにおいて、スループットとサンプリング効率で主流RLフレームワークを大幅に上回ることを確認。 - 兆パラメータ規模のスケーラビリティテストで、高い安定性と線形スピードアップを維持。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- LIBEROベンチマーク。 - 主流RLフレームワーク(具体的名称は要旨に記載なし)。 - Vision-Language-Action (VLA) モデル。 - Embodied AI 関連の大規模分散RL研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yucheng Guo, Yongjian Guo, Zhong Guan, Wen Huang, Haoran Sun, Haodong Yue, Xiaolong Xiang, Shuai Di, Zhen Sun, Luqiao Wang, Junwu Xiong, Yicheng Gong

分類: cs.AI, cs.RO

原文アブストラクト

The rapid evolution of Embodied AI has enabled Vision-Language-Action (VLA) models to excel in multimodal perception and task execution. However, applying Reinforcement Learning (RL) to these massive models in large-scale distributed environments faces severe systemic bottlenecks, primarily due to the resource conflict between high-fidelity physical simulation and the intensive VRAM/bandwidth demands of deep learning. This conflict often leaves overall throughput constrained by execution-phase inefficiencies. To address these challenges, we propose D-VLA, a high-concurrency, low-latency distributed RL framework for large-scale embodied foundation models. D-VLA introduces "Plane Decoupling," physically isolating high-frequency training data from low-frequency weight control to eliminate interference between simulation and optimization. We further design a four-thread asynchronous "Swimlane" pipeline, enabling full parallel overlap of sampling, inference, gradient computation, and parameter distribution. Additionally, a dual-pool VRAM management model and topology-aware replication resolve memory fragmentation and optimize communication efficiency. Experiments on benchmarks like LIBERO show that D-VLA significantly outperforms mainstream RL frameworks in throughput and sampling efficiency for billion-parameter VLA models. In trillion-parameter scalability tests, our framework maintains exceptional stability and linear speedup, providing a robust system for high-performance general-purpose embodied agents.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI