日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.03238

RobotxR1: 閉ループ強化学習による大規模言語モデルの身体性ロボット知能の実現

RobotxR1: Enabling Embodied Robotic Intelligence on Large Language Models through Closed-Loop Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

小型LLMを閉ループ強化学習で訓練し、ロボットの身体性知能を実現する手法を提案。自動運転タスクでSFTベースラインを上回り、GPT-4oをも超える制御適応性を達成した。

詳しい要約

1. どんなもの?

- 本論文は、ロボティクス領域における小型LLMの活用を目指す研究 - R1-zero approachをロボティクス領域へ拡張した手法を提案 - クラウド接続なしのオンボード embodied intelligence を想定 - 計算資源・メモリ制約下での能力と制約のバランスを狙う - 閉ループRLフレームワークに統合することで Embodied AI の推論を強化 - 小型LLMでも環境との相互作用を通じて実用的な推論性能を達成できることを示す

2. 先行研究と比べてどこがすごい?

- 先行のR1-Zero approachは静的データセットを用いた数学的推論向け - 本研究はそれを閉ループRLに統合しロボティクスへ拡張 - 大規模モデルのSFTによる蒸留だけに依存しない点が特徴 - 小型LLMが環境との閉ループ相互作用で有効な推論性能を獲得できることを示す - 従来はより大規模なモデルが必要だったタスクを小型モデルで実現 - 自律走行設定でSFTベースライン比+20.2%ポイントの性能向上 - Qwen2.5-3Bが63.3%のcontrol adaptability scoreを達成し、クラウド依存の大規模GPT-4oの58.5%を上回る

3. 技術・手法の肝は?

- R1-zero approachを閉ループReinforcement Learning (RL) フレームワークに統合 - 小型LLMを環境との相互作用を通じて学習させる - 静的な教師あり微調整 (SFT) による大規模モデル蒸留への依存を低減 - 環境フィードバックに基づくインタラクティブな学習を重視 - オンボード展開を想定し、計算資源・メモリ制約下での実用性を狙う - 具体的なRLアルゴリズムや報酬設計の詳細は要旨からは不明

4. どうやって有効だと検証した?

- 自律走行 (autonomous driving) 設定で評価 - Qwen2.5-1.5Bモデルを用い、SFTベースライン比で20.2%ポイントの性能向上を観測 - 提案訓練手順によりQwen2.5-3Bが63.3%のcontrol adaptability scoreを達成 - 比較対象のクラウド依存GPT-4oは58.5%であり、これを上回る結果 - 小型LLMのオンボード展開が実現可能かつ大規模モデルを上回り得ることを示す - 評価データセットや実験条件の詳細は要旨からは不明

5. 議論はある?

- 環境フィードバックを通じた学習がロボティックEmbodied AIに重要であると主張 - 静的な教師あり学習ではなく実践的経験に基づくインタラクティブ学習の枠組みを重視 - 小型LLMのオンボード実用性を示す一方、計算資源・メモリ制約とのバランスが論点 - クラウド接続なしでの運用可能性を強調 - 具体的な限界や失敗事例、RLの安定性・報酬設計に関する議論は要旨からは不明

6. 次に読むべき論文は?

- R1-zero approach (元となった手法) - Supervised Fine-Tuning (SFT) ベースの蒸留手法 - Qwen2.5-1.5B / Qwen2.5-3B (使用モデル) - GPT-4o (比較対象の大規模モデル) - 閉ループReinforcement Learning (RL) を用いたEmbodied AI研究 - 小型LLMのオンボード推論に関する関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Liam Boyle, Nicolas Baumann, Paviththiren Sivasothilingam, Michele Magno, Luca Benini

分類: cs.RO

原文アブストラクト

Future robotic systems operating in real-world environments will require on-board embodied intelligence without continuous cloud connection, balancing capabilities with constraints on computational power and memory. This work presents an extension of the R1-zero approach, which enables the usage of low parameter-count Large Language Models (LLMs) in the robotic domain. The R1-Zero approach was originally developed to enable mathematical reasoning in LLMs using static datasets. We extend it to the robotics domain through integration in a closed-loop Reinforcement Learning (RL) framework. This extension enhances reasoning in Embodied Artificial Intelligence (Embodied AI) settings without relying solely on distillation of large models through Supervised Fine-Tuning (SFT). We show that small-scale LLMs can achieve effective reasoning performance by learning through closed-loop interaction with their environment, which enables tasks that previously required significantly larger models. In an autonomous driving setting, a performance gain of 20.2%-points over the SFT-based baseline is observed with a Qwen2.5-1.5B model. Using the proposed training procedure, Qwen2.5-3B achieves a 63.3% control adaptability score, surpassing the 58.5% obtained by the much larger, cloud-bound GPT-4o. These results highlight that practical, on-board deployment of small LLMs is not only feasible but can outperform larger models if trained through environmental feedback, underscoring the importance of an interactive learning framework for robotic Embodied AI, one grounded in practical experience rather than static supervision.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI