実世界オンライン学習/システム2026/2/1arXiv:2602.07837

USER: 実世界オンライン方策学習のための統合拡張可能システム

RLinf-USER: A Unified and Extensible System for Real-World Online Policy Learning in Embodied AI

実世界のロボット群をGPUと同様に扱うハードウェア抽象化と非同期学習基盤を提供し、オンライン模倣・強化学習やVLAモデルを長期実験で効率的に訓練できるシステムを構築した。

詳しい要約

1. どんなもの？

- 実世界のembodied AI向けオンライン方策学習のための統合・拡張可能なシステムUSERを提案。 - 物理ロボットをGPUと同列のハードウェア資源として扱い、異種ロボットの自動発見・管理・スケジューリングを可能にする。 - クラウド・エッジ通信、非同期学習、拡張可能な抽象化を備え、シミュレーションと実世界の両方で検証。

2. 先行研究と比べてどこがすごい？

- 従来のシミュレーション中心の学習と異なり、実世界の制約（加速不可、リセット困難、複製不可）をシステム問題として捉える。 - 物理ロボットをfirst-class hardware resourcesとして扱う統一ハードウェア抽象化層を導入。 - 適応的通信プレーンや非同期フレームワークにより、長期的な実世界実験を可能にする点が新しい。

3. 技術・手法の肝は？

- 統一ハードウェア抽象化層で異種ロボットを自動発見・管理・スケジューリング。 - 適応的通信プレーン：tunneling-based networking、分散データチャネル、streaming-multiprocessor-aware weight synchronization。 - 完全非同期フレームワークと永続的キャッシュ対応バッファで、クラッシュ回復と履歴データ再利用を実現。 - 報酬・アルゴリズム・方策の拡張可能な抽象化を提供し、CNN/MLP、生成方策、VLAモデルを統合パイプラインで学習可能。

4. どうやって有効だと検証した？

- シミュレーションと実世界の両方で結果を示す。 - マルチロボット協調、異種マニピュレータ、大規模モデルを用いたエッジ・クラウド協調、長時間非同期学習を実現することを確認。

5. 議論はある？

- 実世界オンライン方策学習はアルゴリズム問題だけでなくシステム問題であると主張。 - 具体的な限界や課題についての議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、online imitation learning、reinforcement learning、vision-language-action (VLA) models、CNN/MLP、generative policiesが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongzhi Zang, Shu'ang Yu, Hao Lin, Tianxing Zhou, Zefang Huang, Zhen Guo, Xin Xu, Jiakai Zhou, Yuze Sheng, Shizhe Zhang, Feng Gao, Wenhao Tang, Yufeng Yue, Quanlu Zhang, Xinlei Chen, Chao Yu, Yu Wang

分類: cs.RO

原文アブストラクト

Online policy learning directly in the physical world is a promising yet challenging direction for embodied intelligence. Unlike simulation, real-world systems cannot be arbitrarily accelerated, cheaply reset, or massively replicated, which makes scalable data collection, heterogeneous deployment, and long-horizon effective training difficult. These challenges suggest that real-world policy learning is not only an algorithmic issue but fundamentally a systems problem. We present USER, a Unified and extensible SystEm for Real-world online policy learning. USER treats physical robots as first-class hardware resources alongside GPUs through a unified hardware abstraction layer, enabling automatic discovery, management, and scheduling of heterogeneous robots. To address cloud-edge communication, USER introduces an adaptive communication plane with tunneling-based networking, distributed data channels for traffic localization, and streaming-multiprocessor-aware weight synchronization to regulate GPU-side overhead. On top of this infrastructure, USER organizes learning as a fully asynchronous framework with a persistent, cache-aware buffer, enabling efficient long-horizon experiments with robust crash recovery and reuse of historical data. In addition, USER provides extensible abstractions for rewards, algorithms, and policies, supporting online imitation or reinforcement learning of CNN/MLP, generative policies, and large vision-language-action (VLA) models within a unified pipeline. Results in both simulation and the real world show that USER enables multi-robot coordination, heterogeneous manipulators, edge-cloud collaboration with large models, and long-running asynchronous training, offering a unified and extensible systems foundation for real-world online policy learning.

arXivで原文を読む →arXiv概要ページ

← 論文一覧