日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.14828

RoboGPT-R1:強化学習によるロボットタスクプランニングの強化

RoboGPT-R1: Enhancing Robot Task Planning with Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルを教師あり微調整と強化学習の2段階で訓練し、長期的な操作タスクの計画能力を高める手法を提案。小型モデルながら大規模モデルを上回る性能を達成。

詳しい要約

1. どんなもの?

- 本論文は、embodied agentsの推論能力を向上させるためのフレームワーク「RoboGPT-R1」を提案している。 - 長期的な操作タスクにおいて、複雑な人間の指示をロボットが遂行することを目的とする。 - 大規模言語モデルや視覚言語モデルをロボット計画タスクに適用する際の課題に対処する。 - 二段階のファインチューニングフレームワークであり、教師あり学習と強化学習を組み合わせる。 - Qwen2.5-VL-3Bをベースに訓練された推論モデルである。

2. 先行研究と比べてどこがすごい?

- 従来のSupervised Fine-Tuning (SFT) のみによるアプローチでは、一般常識や推論能力が制限され、長期的な操作タスクでの性能が不十分であった。 - 一般目的の視覚言語モデルをロボット計画タスクにSFTで適応させる方法は、汎化性能が低く、物理的理解が不十分であるという問題があった。 - 提案手法は、強化学習を導入することでこれらの欠点を克服し、物理的理解と行動系列の一貫性を実現する。 - EmbodiedBenchベンチマークにおいて、GPT-4o-miniを21.33%上回り、Qwen2.5-VL-7Bで訓練された他の手法を20.33%上回る性能を達成した。

3. 技術・手法の肝は?

- 二段階のファインチューニングフレームワークを採用する。 - 第一段階では、専門家の系列を用いた教師あり学習により基礎知識を獲得する。 - 第二段階では、強化学習を用いて視覚空間理解と推論の不足を補う。 - マルチステップ推論タスクにおいて、物理的理解と行動系列の一貫性を実現するために、長期的性能と環境内の行動制約を同時に考慮するルールベースの報酬関数を設計する。 - ベースモデルとしてQwen2.5-VL-3Bを使用する。

4. どうやって有効だと検証した?

- EmbodiedBenchベンチマークを用いて評価を行った。 - 提案手法は、GPT-4o-miniを21.33%上回り、Qwen2.5-VL-7Bで訓練された他の手法を20.33%上回る性能を示した。 - これにより、提案手法の有効性が検証された。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている研究:Supervised Fine-Tuning (SFT) を用いた大規模言語モデル/視覚言語モデルの計画タスクへの適用研究、GPT-4o-mini、Qwen2.5-VL-7Bで訓練された他の手法。 - 関連手法:EmbodiedBenchベンチマーク、強化学習を用いたロボット計画手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinrui Liu, Bingyan Nie, Boyu Li, Yaran Chen, Yuze Wang, Shunsen He, Haoran Li

分類: cs.AI, cs.RO

原文アブストラクト

Improving the reasoning capabilities of embodied agents is crucial for robots to complete complex human instructions in long-view manipulation tasks successfully. Despite the success of large language models and vision language models based on Supervised Fine-Tuning (SFT) in planning tasks, they continue facing challenges in performing long-horizon manipulation tasks in complex real-world environments, owing to their restricted common sense and reasoning capabilities. Considering that aligning general-purpose vision language models to robotic planning tasks via supervised fine-tuning suffers from poor generalization and insufficient physical understanding, we propose RoboGPT-R1, a two-stage fine-tuning framework for embodied planning. In this framework, supervised training acquires foundational knowledge through expert sequences, followed by RL to address the model's shortcomings in visual-spatial understanding and reasoning. To achieve physical understanding and action sequence consistency in multi-step reasoning tasks, we design a rule-based reward function that simultaneously considers long-horizon performance and action constraint in the environment. The reasoning model, trained on Qwen2.5-VL-3B, significantly outperforms the larger-scale model, GPT-4o-mini, by 21.33% and surpasses other work trained on Qwen2.5-VL-7B by 20.33% on the EmbodiedBench benchmark.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI