日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.32236

RoboFFT:順過程を用いたオンライン強化学習による生成ロボット方策のファインチューニング

RoboFFT: Finetuning generative robot policy via online reinforcement learning with forward process

シェア:XThreadsFacebookLINEはてブBluesky

生成モデルベースの方策を、順過程ノイズ付加とスコアマッチング損失でPPO的にファインチューニングする手法を提案し、模倣学習の限界を強化学習で改善する。

詳しい要約

1. どんなもの?

- 生成モデル(diffusion, flow-based)を用いたロボット政策を、オンライン強化学習でファインチューニングするフレームワーク「RoboFFT」を提案。 - 模倣学習のみでは不完全なデモや分布シフトに対処できず、追加の専門家データが必要となる問題を解決。 - 生成政策の尤度推定が困難なため、forward noisingとweighted score/flow matching lossを利用してPPOスタイルの更新を可能にする。 - シミュレーションベンチマーク(長期的計画、スパース報酬)と実世界タスクで有効性を検証。

2. 先行研究と比べてどこがすごい?

- 従来の生成的政策は模倣学習に依存し、不完全なデモや分布シフトに弱く、改善には追加の専門家データが必要だった。 - 強化学習によるファインチューニングは尤度推定の困難さから挑戦的だった。 - RoboFFTはforward processを利用して尤度推定を回避し、PPOスタイルの更新を可能にした点が新しい。 - 既存手法と比較して、安定性と訓練効率を向上させつつ性能を一貫して改善。

3. 技術・手法の肝は?

- 生成的政策からサンプリングした行動にforward noisingを適用。 - weighted score / flow matching lossを用いて代理政策比(surrogate policy ratio)を構築。 - この比をPPOスタイルの更新に利用することで、生成モデルの尤度推定を回避。 - オンライン強化学習の枠組みで生成的政策をファインチューニング。

4. どうやって有効だと検証した?

- 人気の生成ロボット政策を用いて、代表的なシミュレーションベンチマークで評価。 - 長期的計画とスパース報酬設定を含む。 - 広範な実験と分析により、性能の一貫した改善、安定性、訓練効率の向上を実証。 - 実世界のRLフレームワークに統合し、実タスクでの有効性も確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、diffusion policy, flow matching, PPO, 模倣学習ベースのロボット政策学習に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yu Li, Shenghe Hu, Yuhan Wang, Yaoxiang Pu, Haotong Zhang, Yuanpei Chen, Yaodong Yang

分類: cs.RO

原文アブストラクト

Generative models, such as diffusion and flow-based models, have shown strong promise for robot policy learning by capturing complex and multimodal action distributions from demonstrations. However, policies trained solely with imitation learning often suffer from imperfect demonstrations and distributional shifts, while further improvement typically requires additional expert data. Reinforcement learning offers a natural solution through environment interaction, but effectively finetuning generative robot policies remains challenging due to the intractability of likelihood estimation. In this work, we propose RoboFFT, a forward-process reinforcement learning framework for finetuning generative robot policies, which applies forward noising to sampled actions and uses the weighted score / flow matching loss to construct a surrogate policy ratio for PPO-style updates. We evaluate RoboFFT with popular generative robot policies on representative simulation benchmarks, including long-horizon planning and sparse reward settings. Extensive experiments and analysis demonstrate that RoboFFT consistently improves performance while achieving better stability and training efficiency. We further integrate RoboFFT into a real world RL framework and demonstrate its effectiveness in real world tasks. Project website: https://student-of-holmes.github.io/RoboFFT/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI