日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モデルベースRLarXiv:2510.24482

連続時間強化学習におけるサンプル効率とスケーラビリティの両立

Sample-efficient and Scalable Exploration in Continuous-Time RL

シェア:XThreadsFacebookLINEはてブBluesky

連続時間の未知ダイナミクスを確率的モデルで学習し、報酬と不確実性を組み合わせて探索するモデルベース強化学習手法COMBRLを提案。理論的な後悔・サンプル複雑度保証と実験での優位性を示した。

詳しい要約

1. どんなもの?

- 連続時間強化学習(continuous-time RL)のためのモデルベース手法 COMBRL を提案する論文。 - 未知の系ダイナミクスを非線形常微分方程式(ODE)で表現する設定を扱う。 - 外因性報酬とモデルの認識論的不確実性(epistemic uncertainty)の重み付き和を貪欲に最大化するアルゴリズム。 - 目的はスケーラブルかつサンプル効率の良い連続時間モデルベース RL の実現。

2. 先行研究と比べてどこがすごい?

- 従来の RL アルゴリズムは離散時間ダイナミクスを前提とすることが多いが、実世界の制御系は連続時間である点を指摘。 - 連続時間設定で、報酬駆動型では sublinear regret、外因性報酬なしの unsupervised RL 設定では sample complexity bound を与える点が理論的な貢献。 - 実験で prior methods よりスケールしやすくサンプル効率が高く、複数の deep RL タスクでベースラインを上回ると主張。

3. 技術・手法の肝は?

- 未知の ODE ダイナミクスを Gaussian processes や Bayesian neural networks などの確率モデルで学習し、不確実性を考慮したモデルを得る。 - COMBRL は外因性報酬とモデルの epistemic uncertainty の重み付き和を貪欲に最大化する方針で探索と活用を行う。 - これにより連続時間モデルベース RL をスケーラブルかつサンプル効率良く実現する。

4. どうやって有効だと検証した?

- 標準的な RL 設定と unsupervised RL 設定の両方で COMBRL を評価。 - 複数の deep RL タスクにおいて、prior methods よりスケールすること、サンプル効率が高いこと、ベースラインを上回ることを実験で示した。 - 理論面では報酬駆動型で sublinear regret、unsupervised 設定で sample complexity bound を示す。

5. 議論はある?

- 要旨からは不明(具体的な限界や議論の詳細は記述されていない)。 - 理論保証は報酬駆動型の sublinear regret と unsupervised 設定の sample complexity bound に言及があるが、その仮定や適用範囲の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で明示的に参照・比較されている個別論文はない。 - 関連手法として、Gaussian processes、Bayesian neural networks、連続時間モデルベース RL、unsupervised RL、regret 解析や sample complexity 解析の文献を次に読む候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Klemens Iten, Lenart Treven, Bhavya Sukhija, Florian Dörfler, Andreas Krause

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Reinforcement learning algorithms are typically designed for discrete-time dynamics, even though the underlying real-world control systems are often continuous in time. In this paper, we study the problem of continuous-time reinforcement learning, where the unknown system dynamics are represented using nonlinear ordinary differential equations (ODEs). We leverage probabilistic models, such as Gaussian processes and Bayesian neural networks, to learn an uncertainty-aware model of the underlying ODE. Our algorithm, COMBRL, greedily maximizes a weighted sum of the extrinsic reward and model epistemic uncertainty. This yields a scalable and sample-efficient approach to continuous-time model-based RL. We show that COMBRL achieves sublinear regret in the reward-driven setting, and in the unsupervised RL setting (i.e., without extrinsic rewards), we provide a sample complexity bound. In our experiments, we evaluate COMBRL in both standard and unsupervised RL settings and demonstrate that it scales better, is more sample-efficient than prior methods, and outperforms baselines across several deep RL tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI