報酬設計エージェント：強化学習のための報酬設計
RDA: Reward Design Agent for Reinforcement Learning
視覚言語モデルを用いて報酬関数を自動設計・改善するエージェントフレームワークを提案し、指示に沿ったロボット操作ポリシーを実現した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Hojoon Lee, Ajay Subramanian, Ben Abbatematteo, Vijay Veerabadran, Pedro Matias, Karl Ridgeway, Nitin Kamra
分類: cs.LG
原文アブストラクト
Reinforcement learning has enabled the acquisition of impressive robotic skills, but typically requires hand-crafted reward functions that are slow to design and difficult to align with human intentions. Recent work, such as Eureka, automates reward design by using an LLM to iteratively generate and refine reward code from task descriptions. However, they rely on coarse feedback signals such as success rate, which provide little semantic insight into the learned behavior. As a result, their trained policies achieve the final goal but are frequently poorly aligned with task instructions. We introduce the Reward Design Agent (RDA), a VLM-based agentic framework that injects semantic understanding into reward design. RDA decomposes tasks, visually evaluates trajectories, summarizes failure modes, and iteratively revises reward code to better align with task instructions. Across 12 tabletop manipulation tasks from ManiSkill and 4 whole-body manipulation tasks from HumanoidBench, RDA produces policies substantially more instruction-aligned than those of other baselines, while achieving comparable task success rates. Videos and the generated reward code are available on https://nitinkamra1992.github.io/reward-design-agent.
関連論文
- 進捗関係からロボットの報酬を学習するEvent2Reward強化学習/報酬設計
- ROOT: ユーザー指定の身体動作のための報酬発見フレームワーク強化学習/報酬設計
- 強化学習のための段階遷移型高密度報酬モデリング強化学習/報酬設計
- 生成的エピソードガイダンスによる二重粒度コントラスト報酬で効率的な身体性RL強化学習/報酬設計
- グラフ思考による報酬進化：強化学習のための二段階言語モデルフレームワーク強化学習/報酬設計
- TimeRewarder：受動的動画からフレーム間時間距離で密報酬を学習強化学習/報酬設計
