日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.20715

IG-RFT:長期的ロボット操作におけるVLAモデルのための対話誘導強化学習フレームワーク

IG-RFT: An Interaction-Guided RL Framework for VLA Models in Long-Horizon Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

流れベースのVLAモデルを対象に、対話状態に応じて探索を調整する強化学習とハイブリッド報酬を組み合わせ、長期タスクでの成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

- 長期的なロボット操作タスクにおけるVision-Language-Action (VLA) モデルのファインチューニングのための新しい強化学習フレームワークIG-RFTを提案。 - 実世界の複雑なタスクにおける分布シフトと高品質デモの不足に対処。 - 4つの挑戦的な長期的タスクで平均成功率85.0%を達成。

2. 先行研究と比べてどこがすごい?

- 従来のSFT (18.8%) や標準的なOffline RLベースライン (40.0%) と比較して大幅に高い成功率を実現。 - 探索効率、訓練安定性、サンプルコストの課題を解決。 - 実世界のVLAファインチューニングに強化学習を適用する新たなシステムを確立。

3. 技術・手法の肝は?

- Interaction-Guided Advantage Weighted Regression (IG-AWR) を導入し、ロボットのインタラクション状態に基づいて探索強度を動的に調整。 - 軌道レベル報酬とサブタスクレベル報酬を統合したハイブリッド密報酬関数を設計。 - SFT、Offline RL、Human-in-the-Loop RLからなる3段階のRLシステムを構築。

4. どうやって有効だと検証した?

- 4つの挑戦的な長期的実世界タスクで実験を実施。 - 平均成功率85.0%を達成し、SFT (18.8%) と標準Offline RL (40.0%) を大幅に上回る。 - アブレーション研究によりIG-AWRとハイブリッド報酬形成の重要性を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: SFT, Offline RL, Human-in-the-Loop RL, flow-based VLA models。 - 関連手法: Vision-Language-Action (VLA) モデル、強化学習 (RL)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhian Su, Weijie Kong, Haonan Dong, Huixu Dong

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have demonstrated significant potential for generalist robotic policies; however, they struggle to generalize to long-horizon complex tasks in novel real-world domains due to distribution shifts and the scarcity of high-quality demonstrations. Although reinforcement learning (RL) offers a promising avenue for policy improvement, applying it to real-world VLA fine-tuning faces challenges regarding exploration efficiency, training stability, and sample cost. To address these issues, we propose IG-RFT, a novel Interaction-Guided Reinforced Fine-Tuning system designed for flow-based VLA models. Firstly, to facilitate effective policy optimization, we introduce Interaction-Guided Advantage Weighted Regression (IG-AWR), an RL algorithm that dynamically modulates exploration intensity based on the robot's interaction status. Furthermore, to address the limitations of sparse or task-specific rewards, we design a novel hybrid dense reward function that integrates the trajectory-level reward and the subtask-level reward. Finally, we construct a three-stage RL system comprising SFT, Offline RL, and Human-in-the-Loop RL for fine-tuning VLA models. Extensive real-world experiments on four challenging long-horizon tasks demonstrate that IG-RFT achieves an average success rate of 85.0%, significantly outperforming SFT (18.8%) and standard Offline RL baselines (40.0%). Ablation studies confirm the critical contributions of IG-AWR and hybrid reward shaping. In summary, our work establishes and validates a novel reinforced fine-tuning system for VLA models in real-world robotic manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI