日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2512.04341

明示的な保守性なしの長期ホライズンモデルベースオフライン強化学習

Long-Horizon Model-Based Offline Reinforcement Learning Without Explicit Conservatism

シェア:XThreadsFacebookLINEはてブBluesky

ベイズ的アプローチにより明示的な保守性を使わずに長期ホライズンのロールアウトを可能にし、D4RLとNeoRLで最先端性能を達成したNEUBAYを提案。

詳しい要約

1. どんなもの?

- オフライン強化学習(offline RL)における新しい手法「NEUBAY」を提案する論文。 - 従来の保守的(conservative)なアプローチではなく、ベイズ的な事後分布モデルと履歴依存エージェントを用いて、テスト時の適応を可能にする。 - 長期的なロールアウト(long-horizon rollouts)を活用し、価値過大評価を制御する。 - D4RLやNeoRLベンチマークで評価し、7つのデータセットで最先端性能を達成。

2. 先行研究と比べてどこがすごい?

- 従来のオフラインRLは、データセット外の行動にペナルティを与えたり、ロールアウトの期間を制限する明示的な保守性に依存していた。 - 本研究は、そのような保守性が普遍的ではないことを示し、ベイズ的視点から認識論的不確実性に直接対処する。 - 特に低品質なデータセットにおいて、保守的手法が失敗する状況でベイズ的手法が優れることをバンディット設定で示す。 - 保守性を除去した上で、長期的ロールアウトが価値過大評価の制御に不可欠であることを発見。

3. 技術・手法の肝は?

- 世界モデルの事後分布をモデル化し、履歴依存のエージェントを訓練して期待リターンを最大化する。 - 明示的な保守性なしに認識論的不確実性に対処する「中立ベイズ原理(neutral Bayesian principle)」に基づく。 - 長期的ロールアウトからの学習を可能にしつつ、モデル誤差の累積を軽減する設計選択を導入。 - これにより、数百ステップのロールアウトホライズンを持つNEUBAYを実現。

4. どうやって有効だと検証した?

- D4RLおよびNeoRLベンチマークで評価を実施。 - 最先端の保守的アルゴリズムと競合し、7つのデータセットで新たなstate-of-the-artを達成。 - ロールアウトホライズンは数百ステップに及ぶ。 - データセットを品質とカバレッジで特徴づけ、NEUBAYが保守的手法より好ましい状況を特定。

5. 議論はある?

- 保守性が常に必要ではないことを示し、ベイズ的アプローチの有効性を議論。 - 長期的ロールアウトが価値過大評価の制御に重要であることを強調。 - データセットの品質とカバレッジに基づき、NEUBAYと保守的手法の使い分けを提案。 - 具体的な限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている研究:明示的保守性を用いる一般的なオフラインRL手法(例:CQL, IQLなど)、D4RLベンチマーク、NeoRLベンチマーク。 - 関連手法:ベイズ的オフラインRL、モデルベースオフラインRL、長期的ロールアウトを扱う手法。 - 同分野の定番:保守的Q学習(CQL)、暗黙的Q学習(IQL)、モデルベース政策最適化(MBPO)など。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianwei Ni, Esther Derman, Vineet Jain, Vincent Taboga, Siamak Ravanbakhsh, Pierre-Luc Bacon

分類: cs.LG

原文アブストラクト

Popular offline reinforcement learning (RL) methods rely on explicit conservatism, penalizing out-of-dataset actions or restricting rollout horizons. We question the universality of this principle and revisit a complementary Bayesian perspective for test-time adaptation. By modeling a posterior over world models and training a history-dependent agent to maximize expected return, the Bayesian approach directly addresses epistemic uncertainty without explicit conservatism. We first illustrate in a bandit setting that Bayesianism excels on low-quality datasets where conservatism fails. Scaling to realistic tasks, we find that long-horizon rollouts are essential to control value overestimation once conservatism is removed. We introduce design choices that enable learning from long-horizon rollouts while mitigating compounding model errors, yielding our algorithm, NEUBAY, grounded in the neutral Bayesian principle. On D4RL and NeoRL benchmarks, NEUBAY is competitive with leading conservative algorithms, achieving new state-of-the-art on 7 datasets with rollout horizons of several hundred steps. Finally, we characterize datasets by quality and coverage to identify when NEUBAY is preferable to conservative methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI