日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.10911

ReWiND: 言語ガイド報酬で新規デモなしにロボット方策を教える

ReWiND: Language-Guided Rewards Teach Robot Policies without New Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

言語指示から報酬関数を学習し、オフラインRLで事前学習した方策を新規タスクに少ない試行で適応させるフレームワークを提案。

詳しい要約

1. どんなもの?

- 言語指示のみからロボットの manipulation タスクを学習するフレームワーク ReWiND を提案 - タスクごとの demonstration を必要とせず、少数の demonstration データセットから出発 - (1) データ効率の良い language-conditioned reward function を学習し、データセットに reward を付与 - (2) その reward を用いた offline RL で language-conditioned policy を事前学習 - 未見のタスク変種には、学習済み reward function で事前学習 policy を fine-tune し、最小限の online interaction で適応 - スケーラブルな実世界ロボット学習への一歩を目指す

2. 先行研究と比べてどこがすごい?

- 標準的な RL や imitation learning は、新タスクごとに人間設計の reward function か demonstration による expert supervision を必要とする - ReWiND はタスクごとの demonstration を不要とし、少数のデータセットと言語指示のみで新タスクへ適応 - reward model の未見タスクへの汎化で、baseline を reward generalization と policy alignment 指標で最大 2.4x 上回る - 新タスクへの sample-efficient 適応で、シミュレーションでは baseline の 2x、実世界の pretrained bimanual policy では 5x 改善

3. 技術・手法の肝は?

- 少数の demonstration データセットを出発点とする - language-conditioned reward function をデータ効率的に学習し、データセットへ reward ラベルを付与 - 付与した reward を用いた offline RL で language-conditioned policy を事前学習 - 未見タスク変種では、学習済み reward function を用いて事前学習 policy を fine-tune - fine-tune は最小限の online interaction で行う設計

4. どうやって有効だと検証した?

- reward model の未見タスクへの汎化を評価し、reward generalization と policy alignment 指標で baseline を最大 2.4x 上回ることを示す - 新タスクへの sample-efficient 適応を検証し、シミュレーションで baseline の 2x 改善を報告 - 実世界の pretrained bimanual policy を 5x 改善したと報告 - 詳細な実験設定・タスク・指標の定義は要旨からは不明

5. 議論はある?

- 言語指示のみで新タスクへ適応できる点を、スケーラブルな実世界ロボット学習への一歩と位置づけ - 少数の demonstration データセットと offline RL を組み合わせることで、タスクごとの expert supervision を回避 - 限界・失敗事例・reward model の汎化範囲や安全性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較対象として明示された baseline の個別名称は不明 - 関連手法として、language-conditioned reward function を用いる RL / offline RL、imitation learning、language-conditioned policy の事前学習研究を挙げる - 実世界 bimanual manipulation の pretrained policy 研究も関連 - 具体的な参照論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiahui Zhang, Yusen Luo, Abrar Anwar, Sumedh Anand Sontakke, Joseph J Lim, Jesse Thomason, Erdem Biyik, Jesse Zhang

分類: cs.RO

原文アブストラクト

We introduce ReWiND, a framework for learning robot manipulation tasks solely from language instructions without per-task demonstrations. Standard reinforcement learning (RL) and imitation learning methods require expert supervision through human-designed reward functions or demonstrations for every new task. In contrast, ReWiND starts from a small demonstration dataset to learn: (1) a data-efficient, language-conditioned reward function that labels the dataset with rewards, and (2) a language-conditioned policy pre-trained with offline RL using these rewards. Given an unseen task variation, ReWiND fine-tunes the pre-trained policy using the learned reward function, requiring minimal online interaction. We show that ReWiND's reward model generalizes effectively to unseen tasks, outperforming baselines by up to 2.4x in reward generalization and policy alignment metrics. Finally, we demonstrate that ReWiND enables sample-efficient adaptation to new tasks, beating baselines by 2x in simulation and improving real-world pretrained bimanual policies by 5x, taking a step towards scalable, real-world robot learning. See website at https://rewind-reward.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI