日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.19767

RFTF: 時間的フィードバックを用いた身体性エージェントの強化学習ファインチューニング

RFTF: Reinforcement Fine-tuning for Embodied Agents with Temporal Feedback

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作ラベルなしで時間情報から価値モデルを学習し、密な報酬を生成することで、VLAモデルの強化学習ファインチューニングを効率化する手法を提案。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルを用いた embodied agent 向けの強化学習ファインチューニング手法 RFTF の提案 - 従来の behavior cloning は高コストなデータと計算資源を要し、人間のデモンストレーションに制約されるという問題に対処 - スパースな outcome-based reward ではなく、value model により dense reward を生成する点が特徴 - CALVIN ABC-D で平均成功長 4.296 の state-of-the-art を達成したと報告

2. 先行研究と比べてどこがすごい?

- 既存の embodied agent は主に behavior cloning で訓練され、高コストなデータ・計算資源と人間デモへの依存が課題 - 従来の reinforcement fine-tuning はスパースな outcome-based reward に依存し、エピソード内の個別行動への細粒度フィードバックが困難 - RFTF は value model で dense reward を生成することでスパース報酬問題を緩和 - 高コストな robot action label を必要とせず、汎化・適応性能を向上させたと主張

3. 技術・手法の肝は?

- value model を用いて embodied シナリオにおける dense reward を生成 - value model は temporal information を用いて訓練され、高コストな robot action label を不要にする - GAE (Generalized Advantage Estimation) を導入 - sample balance などの技術を組み合わせてファインチューニングの効果を高める - スパース報酬問題への対処が中核

4. どうやって有効だと検証した?

- CALVIN ABC-D ベンチマークで評価し、平均成功長 4.296 の新たな state-of-the-art を達成 - CALVIN の D 環境で少数エピソードのファインチューニング後、平均成功長 4.301 を達成し新環境への迅速な適応を示す - 多様な embodied タスクで汎化・適応能力の向上を報告

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗事例、報酬設計の詳細な議論は記述されていない) - value model の訓練に temporal information を用いる点の一般性や、他ベンチマークへの拡張性については要旨からは不明

6. 次に読むべき論文は?

- CALVIN (ABC-D ベンチマーク) に関する研究 - behavior cloning を用いた VLA モデル - embodied agent 向け reinforcement fine-tuning の既存手法(outcome-based reward を用いるもの) - GAE (Generalized Advantage Estimation) に関する基礎研究 - value model を用いた dense reward 生成に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junyang Shu, Zhiwei Lin, Yongtao Wang

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have demonstrated significant potential in the field of embodied intelligence, enabling agents to follow human instructions to complete complex tasks in physical environments. Existing embodied agents are often trained through behavior cloning, which requires expensive data and computational resources and is constrained by human demonstrations. To address this issue, many researchers explore the application of reinforcement fine-tuning to embodied agents. However, typical reinforcement fine-tuning methods for embodied agents usually rely on sparse, outcome-based rewards, which struggle to provide fine-grained feedback for specific actions within an episode, thus limiting the model's manipulation capabilities and generalization performance. In this paper, we propose RFTF, a novel reinforcement fine-tuning method that leverages a value model to generate dense rewards in embodied scenarios. Specifically, our value model is trained using temporal information, eliminating the need for costly robot action labels. In addition, RFTF incorporates a range of techniques, such as GAE and sample balance to enhance the effectiveness of the fine-tuning process. By addressing the sparse reward problem in reinforcement fine-tuning, our method significantly improves the performance of embodied agents, delivering superior generalization and adaptation capabilities across diverse embodied tasks. Experimental results show that embodied agents fine-tuned with RFTF achieve new state-of-the-art performance on the challenging CALVIN ABC-D with an average success length of 4.296. Moreover, RFTF enables rapid adaptation to new environments. After fine-tuning in the D environment of CALVIN for a few episodes, RFTF achieved an average success length of 4.301 in this new environment.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI