日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2604.20627

占有報酬整形:オフライン目標条件付き強化学習におけるクレジット割り当ての改善

Occupancy Reward Shaping: Improving Credit Assignment for Offline Goal-Conditioned Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

生成世界モデルから最適輸送を用いて幾何学的情報を抽出し、報酬関数を整形することで、スパース報酬環境でのクレジット割り当て問題を緩和する手法を提案。13の長距離タスクで2.2倍の性能向上を実証し、核融合制御にも応用。

詳しい要約

1. どんなもの?

- オフライン目標条件付き強化学習(offline goal-conditioned RL)におけるcredit assignment問題を解決する手法「Occupancy Reward Shaping (ORS)」を提案。 - 生成的世界モデル(generative world model)が持つ時間情報を活用し、optimal transportを用いてoccupancy measureから目標到達情報を抽出し、報酬関数を形成。 - スパース報酬設定でのcredit assignmentを大幅に緩和し、13の多様な長地平線locomotionおよびmanipulationタスクで性能を2.2倍向上。 - さらに、核融合制御の3つのTokamak制御タスクで実世界有効性を実証。

2. 先行研究と比べてどこがすごい?

- 従来のオフライン目標条件付きRLでは、スパース報酬下でのcredit assignmentが困難であった。 - 生成的世界モデルは将来状態の分布を捉えるが、その時間情報をcredit assignmentに抽出する方法は不明確だった。 - ORSは、optimal transportを用いてworld modelから世界の幾何学を抽出し、報酬形成に利用する点が新しい。 - 最適政策を変えないことが証明されており、経験的に性能を2.2倍向上させる点が先行研究と比べて優れている。

3. 技術・手法の肝は?

- 生成的世界モデルが捉えた将来状態の分布(occupancy measure)に着目。 - optimal transportを利用して、学習されたoccupancy measureから世界の幾何学(目標到達情報)を抽出。 - 抽出した幾何学を報酬関数に変換し、スパース報酬設定でのcredit assignmentを改善。 - ORSは最適政策を変更しないことが証明されている。

4. どうやって有効だと検証した?

- 13の多様な長地平線locomotionおよびmanipulationタスクで評価し、性能が2.2倍向上することを実証。 - 実世界の核融合制御において、3つのTokamak制御タスクで有効性を検証。 - コードとウェブサイトを公開。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として、offline goal-conditioned reinforcement learning、generative world models、optimal transport、reward shapingが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aravind Venugopal, Jiayu Chen, Xudong Wu, Chongyi Zheng, Benjamin Eysenbach, Jeff Schneider

分類: cs.LG, cs.RO

原文アブストラクト

The temporal lag between actions and their long-term consequences makes credit assignment a challenge when learning goal-directed behaviors from data. Generative world models capture the distribution of future states an agent may visit, indicating that they have captured temporal information. How can that temporal information be extracted to perform credit assignment? In this paper, we formalize how the temporal information stored in world models encodes the underlying geometry of the world. Leveraging optimal transport, we extract this geometry from a learned model of the occupancy measure into a reward function that captures goal-reaching information. Our resulting method, Occupancy Reward Shaping, largely mitigates the problem of credit assignment in sparse reward settings. ORS provably does not alter the optimal policy, yet empirically improves performance by 2.2x across 13 diverse long-horizon locomotion and manipulation tasks. Moreover, we demonstrate the effectiveness of ORS in the real world for controlling nuclear fusion on 3 Tokamak control tasks. Code: https://github.com/aravindvenu7/occupancy_reward_shaping; Website: https://aravindvenu7.github.io/website/ors/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI