日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.03044

SOP:視覚-言語-行動モデルのためのスケーラブルなオンライン事後学習システム

SOP: A Scalable Online Post-Training System for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボット群が実世界で収集した経験と人間の介入をクラウド上の学習器に非同期で送り、更新された方策を即座に受け取るオンライン分散事後学習システムを提案。布畳みや箱組立などのタスクで大規模VLAモデルの性能を数時間で大幅に向上させる。

詳しい要約

1. どんなもの?

- 大規模事前学習済みの Vision-Language-Action (VLA) モデルを、実世界でオンライン・分散・マルチタスクに post-training する Scalable Online Post-training (SOP) システム。 - ロボット群が on-policy 経験と human intervention 信号をクラウドの centralized learner に連続送信し、更新済み policy を非同期に受け取る closed-loop 構成。 - 実世界の cloth folding、box assembly、grocery restocking などで評価。

2. 先行研究と比べてどこがすごい?

- 既存の VLA post-training は offline、single-robot、task-specific が主流で、on-policy adaptation や実世界相互作用からの scalable learning が制限されていた。 - SOP は online・distributed・multi-task を実現し、fleet 規模の並列展開で経験収集を拡張。 - 単一の shared policy をタスク間で維持しつつ、大規模事前学習 VLA の性能を大幅改善。

3. 技術・手法の肝は?

- 実行と学習を密結合する closed-loop architecture が肝。 - ロボット群が on-policy experience と human intervention signals を centralized cloud learner へストリームし、更新 policy を非同期受信。 - prompt な on-policy correction、並列展開による経験収集のスケール、適応中の generality 保持を可能にする。 - post-training algorithm に非依存で、interactive imitation learning (HG-DAgger) と reinforcement learning (RECAP) の両方で実装。

4. どうやって有効だと検証した?

- 実世界 manipulation タスク (cloth folding、box assembly、grocery restocking) で検証。 - 大規模事前学習 VLA モデルの性能を SOP が大幅改善し、タスク間で単一 shared policy を維持。 - 実世界相互作用の数時間以内で有効な post-training が達成され、性能が fleet のロボット数にほぼ線形にスケール。

5. 議論はある?

- online learning と fleet-scale deployment の密結合が、実世界での generalist robot policy の効率的・信頼性高・スケーラブルな post-training に重要と示唆。 - ただし、具体的な限界や失敗事例、計算コスト、安全性の議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている手法: interactive imitation learning (HG-DAgger)、reinforcement learning (RECAP)。 - 関連する基盤: Vision-Language-Action (VLA) モデル、大規模事前学習、offline post-training、on-policy adaptation。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingjie Pan, Siyuan Feng, Qinglin Zhang, Xinchen Li, Jianheng Song, Chendi Qu, Yi Wang, Chuankang Li, Ziyu Xiong, Zhi Chen, Yi Liu, Jianlan Luo

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) models achieve strong generalization through large-scale pre-training, but real-world deployment requires expert-level task proficiency in addition to broad generality. Existing post-training approaches for VLA models are typically offline, single-robot, or task-specific, limiting effective on-policy adaptation and scalable learning from real-world interaction. We introduce a Scalable Online Post-training (SOP) system that enables online, distributed, multi-task post-training of generalist VLA models directly in the physical world. SOP tightly couples execution and learning through a closed-loop architecture in which a fleet of robots continuously streams on-policy experience and human intervention signals to a centralized cloud learner, and asynchronously receives updated policies. This design supports prompt on-policy correction, scales experience collection through parallel deployment, and preserves generality during adaptation. SOP is agnostic to the choice of post-training algorithm; we instantiate it with both interactive imitation learning (HG-DAgger) and reinforcement learning (RECAP). Across a range of real-world manipulation tasks including cloth folding, box assembly, and grocery restocking, we show that SOP substantially improves the performance of large pretrained VLA models while maintaining a single shared policy across tasks. Effective post-training can be achieved within hours of real-world interaction, and performance scales near-linearly with the number of robots in the fleet. These results suggest that tightly coupling online learning with fleet-scale deployment is instrumental to enabling efficient, reliable, and scalable post-training of generalist robot policies in the physical world.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI