日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2601.14234

随伴マッチングによるQ学習

Q-learning with Adjoint Matching

シェア:XThreadsFacebookLINEはてブBluesky

拡散・フローマッチング方策をQ関数で効率的に最適化するため、随伴マッチングを活用したTDベース強化学習手法QAMを提案し、疎な報酬タスクで従来法を上回る性能を示した。

詳しい要約

1. どんなもの?

- 連続行動RLにおけるTDベースの新手法QAMを提案。 - diffusion/flow-matchingポリシーをパラメータ化されたQ関数で効率的に最適化。 - 従来の不安定な逆伝播を回避し、表現力豊かなポリシーを実現。

2. 先行研究と比べてどこがすごい?

- 既存手法は価値のみ使用し勾配情報を捨てるか、近似により表現力やバイアスを犠牲にしていた。 - QAMはadjoint matchingを活用し、不安定な逆伝播なしでcriticの勾配を利用。 - 最適点で不偏かつ表現力豊かなポリシーを提供。

3. 技術・手法の肝は?

- adjoint matchingを生成モデリングから応用。 - criticの行動勾配を変換し、ステップごとの目的関数を形成。 - 不安定な逆伝播を回避。 - TD backupと組み合わせてcriticを学習。

4. どうやって有効だと検証した?

- オフラインRLとオフライン→オンラインRLの両方で、難しいスパース報酬タスクにおいて検証。 - 従来手法より一貫して優れた性能を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている具体的な論文は不明。 - 関連手法としてdiffusion policy、flow-matching policy、adjoint matching、TD learningが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qiyang Li, Sergey Levine

分類: cs.LG, cs.AI, cs.RO, stat.ML

原文アブストラクト

We propose Q-learning with Adjoint Matching (QAM), a novel TD-based reinforcement learning (RL) algorithm that tackles a long-standing challenge in continuous-action RL: efficient optimization of an expressive diffusion or flow-matching policy with respect to a parameterized Q-function. Effective optimization requires exploiting the first-order information of the critic, but it is challenging to do so for flow or diffusion policies because direct gradient-based optimization via backpropagation through their multi-step denoising process is numerically unstable. Existing methods work around this either by only using the value and discarding the gradient information, or by relying on approximations that sacrifice policy expressivity or bias the learned policy. QAM sidesteps both of these challenges by leveraging adjoint matching, a recently proposed technique in generative modeling, which transforms the critic's action gradient to form a step-wise objective function that is free from unstable backpropagation, while providing an unbiased, expressive policy at the optimum. Combined with temporal-difference backup for critic learning, QAM consistently outperforms prior approaches on hard, sparse reward tasks in both offline and offline-to-online RL.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI