日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2605.27079

信頼領域Q-随伴マッチング

Trust Region Q Adjoint Matching

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みフローポリシーのオフポリシー強化学習を安定化するため、経路空間KLを信頼領域パラメータで制御するTRQAMを提案し、50のOGBenchタスクで既存手法を上回る性能を達成した。

詳しい要約

1. どんなもの?

- 事前学習済みの flow policy を off-policy 強化学習で微調整する手法。 - 従来の Q-learning with Adjoint Matching (QAM) の不安定性を解決する Trust Region Q-Adjoint Matching (TRQAM) を提案。 - パス空間 KL を適応的に制御し、安定した微調整を実現。

2. 先行研究と比べてどこがすごい?

- QAM は critic の誤差が増幅しモデル崩壊を起こす脆弱性があった。 - TRQAM は projected dual descent によりパス空間 KL を適応制御し、事前学習ポリシーからの正確な逸脱を制御。 - 50 の OGBench タスクで offline RL と offline-to-online RL の両方で従来手法を上回る。 - offline RL で成功率 68% を達成し、最強ベースラインの 46% を大幅に改善。

3. 技術・手法の肝は?

- メモリレスな stochastic optimal control (SOC) 問題に再定式化。 - SOC ダイナミクスにおける trust-region パラメータ λ を最適化。 - パス空間 KL が λ の閉形式関数で表現できることを理論的に示す。 - projected dual descent により λ を適応的に調整し、事前学習ポリシーからの逸脱を精密に制御。

4. どうやって有効だと検証した?

- 50 の OGBench タスクで実験。 - offline RL と offline-to-online RL の両設定で評価。 - TRQAM が従来手法を一貫して上回ることを確認。 - offline RL で全体成功率 68% を達成(最強ベースラインは 46%)。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Q-learning with Adjoint Matching (QAM) - OGBench タスク - その他の off-policy RL 手法(例: SAC, TD3+BC など)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yonghoon Dong, Kyungmin Lee, Changyeon Kim, Jaehyuk Kim, Jinwoo Shin

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Off-policy reinforcement learning of pretrained flow policies remains challenging due to the instability of optimization arising from the multi-step sampling process. Recently, Q-learning with Adjoint Matching (QAM) addressed this issue by reformulating into a memoryless stochastic optimal control (SOC) problem with a learned critic. However, QAM inherits a fundamental fragility of critic-guided improvement: small critic errors are amplified when critics are ill-conditioned, often leading to model collapse. This paper introduces Trust Region Q-Adjoint Matching (TRQAM), a stable off-policy fine-tuning algorithm that adaptively controls the path-space KL with pretrained flow policies through projected dual descent. Specifically, we optimize the trust-region parameter $\lambda$ in SOC dynamics, and theoretically show that the path-space KL can be represented by a closed-form function of $\lambda$. As a result, our method can precisely control the exact deviation from pretrained flow policies, achieving stable off-policy RL. Through experiments on 50 OGBench tasks, TRQAM consistently outperforms prior arts in both offline RL and offline-to-online RL. In particular, TRQAM achieves an overall success rate of 68% in offline RL, substantially improves the strongest baseline at 46%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI