日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2609.40149

役割適応型方策最適化によるオフライン強化学習

Role-Adaptive Policy Optimization for Offline Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

オフライン強化学習において、価値学習と実行での方策の役割に応じて更新係数を適応させるRAPOを提案し、TD3+BCやIQLの性能を向上させた。

詳しい要約

1. どんなもの?

- オフライン強化学習のための新しいポリシー最適化手法であるRole-Adaptive Policy Optimization (RAPO)を提案。 - ポリシー正則化の強さを、価値学習(critic bootstrapping)と実行(execution)の役割に応じて適応的に調整する。 - TD3+BCとIQLの2つのベースアルゴリズムに適用可能。

2. 先行研究と比べてどこがすごい?

- 従来のTD3+BCなどは、実行と価値学習の役割を共有ポリシーで結合し、同じ正則化係数を用いていた。 - RAPOは役割ごとにポリシー更新係数を独立に適応させる点が新しい。 - TD3+BCではbootstrap actorとexecution actorを分離し、それぞれの係数を独立に学習。 - IQLではvalue learningがexecution actorから独立しているため、元の価値更新を保ちつつ、advantage-weighted policy extractionの逆温度のみを適応。 - D4RL locomotionとAntMazeタスクでベースアルゴリズムより改善し、特にTD3+BCで大きな利得。

3. 技術・手法の肝は?

- ポリシー更新係数を、ベースアルゴリズムのactor目的関数を用いて形成した候補ポリシー更新を通じて微分することで学習。 - TD3+BCの場合:bootstrap objectiveはポリシーによるtarget valueの変化にペナルティを与え、execution objectiveは局所的なpolicy-improvement surrogateを評価。 - IQLの場合:value learningはexecution actorと独立なので元の価値更新を保持し、advantage-weighted policy extractionの逆温度のみを適応。

4. どうやって有効だと検証した?

- D4RLのlocomotionタスクとAntMazeタスクで実験。 - ベースアルゴリズム(TD3+BCとIQL)に対する改善を確認。 - TD3+BCではRAPOインスタンスが平均でベースラインを上回る性能を示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- TD3+BC (Fujimoto & Gu, 2021) - IQL (Kostrikov et al., 2021) - D4RL (Fu et al., 2020)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seonvin Cho, Soohyun Choi, Songnam Hong

分類: cs.LG

原文アブストラクト

Policy regularization in offline reinforcement learning balances policy improvement against reliance on uncertain value estimates. This balance can differ between selecting actions for execution and supplying actions for critic bootstrapping, yet methods such as TD3+BC couple these roles through a shared policy. We propose Role-Adaptive Policy Optimization (RAPO), which adapts policy-update coefficients according to their roles in value learning and execution. RAPO learns these coefficients by differentiating through candidate policy updates formed using the base algorithm's actor objective. For TD3+BC, RAPO separates bootstrap and execution actors and adapts their coefficients independently: the bootstrap objective penalizes policy-induced changes in target values, while the execution objective evaluates a local policy-improvement surrogate. For IQL, whose value learning is already independent of the execution actor, RAPO preserves the original value updates and adapts only the inverse temperature in advantage-weighted policy extraction. Experiments on D4RL locomotion and AntMaze tasks show improvements over both base algorithms, with larger gains for TD3+BC, whose RAPO instantiation outperforms baselines on average.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI