日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2605.01663

フローアンカー型ノイズ条件付きQ学習による効率的で表現力豊かなオフライン強化学習

Towards Efficient and Expressive Offline RL via Flow-Anchored Noise-conditioned Q-Learning

シェア:XThreadsFacebookLINEはてブBluesky

オフライン強化学習において、フローポリシーと分布批判器の計算コストを削減しつつ高性能を実現するFANアルゴリズムを提案した。

詳しい要約

1. どんなもの?

- 提案手法は **Flow-Anchored Noise-conditioned Q-Learning (FAN)** と呼ばれる offline RL アルゴリズム。 - 高効率かつ高性能を目指し、expressive な flow policy と distributional critic を活用。 - ロボティクス操作・locomotion タスクで SOTA 性能を達成しつつ、学習・推論時間を大幅削減。 - コードは https://github.com/brianlsy98/FAN で公開。

2. 先行研究と比べてどこがすごい?

- 従来の flow policy は 1 アクション生成に反復サンプリングが必要で計算コスト大。 - distributional critic は複数サンプル(例: quantiles)で価値推定するため高コスト。 - FAN は behavior regularization に **単一の flow policy iteration** を用い、distributional critic に **単一の Gaussian noise sample** で済む。 - 理論解析により、これらの簡略化が効率改善だけでなく優れたタスク性能をもたらすことを示す。

3. 技術・手法の肝は?

- **behavior regularization** を導入し、flow policy の反復を 1 回に削減。 - distributional critic の計算を **単一の Gaussian noise sample** で近似。 - これにより flow policy の反復サンプリングと distributional critic の複数サンプル計算を回避。 - 収束性と性能上限の理論解析を提供。

4. どうやって有効だと検証した?

- ロボティクス操作(robotic manipulation)と locomotion タスクで実験。 - FAN が **state-of-the-art performance** を達成することを示す。 - 学習時間と推論時間の両方を大幅に削減できることを実証。

5. 議論はある?

- 理論解析により、簡略化が効率と性能の両方に寄与することを示唆。 - ただし、具体的な限界や失敗ケース、ハイパーパラメータ感度などは要旨からは不明。 - 実世界ロボットへの適用やスケーラビリティに関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている **expressive flow policies** および **distributional critics** に関する先行研究。 - 具体的な論文名は要旨に明記されていないため、同分野の定番として **offline RL** の代表的手法(例: CQL, IQL, TD3+BC)や **flow-based policy** の研究(例: FlowRL)を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sungyoung Lee, Dohyeong Kim, Eshan Balachandar, Zelal Su Mustafaoglu, Keshav Pingali

分類: cs.LG, cs.RO

原文アブストラクト

We propose Flow-Anchored Noise-conditioned Q-Learning (FAN), a highly efficient and high-performing offline reinforcement learning (RL) algorithm. Recent work has shown that expressive flow policies and distributional critics improve offline RL performance, but at a high computational cost. Specifically, flow policies require iterative sampling to produce a single action, and distributional critics require computation over multiple samples (e.g., quantiles) to estimate value. To address these inefficiencies while maintaining high performance, we introduce FAN. Our method employs a behavior regularization technique that uses a single flow policy iteration and requires a single Gaussian noise sample for distributional critics. Our theoretical analysis of convergence and performance bounds demonstrates that these simplifications not only improve efficiency but also lead to superior task performance. Experiments on robotic manipulation and locomotion tasks demonstrate that FAN achieves state-of-the-art performance while significantly reducing both training and inference runtimes. We release our code at https://github.com/brianlsy98/FAN.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI