日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2511.05396

オンライン相互作用を用いた分布ロバストなオフダイナミクス強化学習のサンプル複雑度

Sample Complexity of Distributionally Robust Off-Dynamics Reinforcement Learning with Online Interaction

シェア:XThreadsFacebookLINEはてブBluesky

訓練環境と展開環境の動学が異なる状況で、オンライン相互作用のみを用いたロバスト強化学習のサンプル複雑度を解析し、最適な後悔界を達成する効率的アルゴリズムを提案した。

詳しい要約

1. どんなもの?

- 本研究は、訓練環境と展開環境で遷移ダイナミクスが異なる off-dynamics reinforcement learning (RL) を、遷移の不確実性を課した robust Markov decision process (RMDP) として定式化し、その sample complexity を理論的に解析するもの。 - 従来と異なり、生成モデルや事前収集データセットを仮定せず、訓練環境との online interaction のみが許される現実的で困難な設定を扱う。 - f-divergence に基づく遷移不確実性の下で、計算効率の良い初のアルゴリズムを提案し、sublinear regret と一致する下界を示す。

2. 先行研究と比べてどこがすごい?

- 既存研究は主に generative model による任意の state-action クエリ、または展開環境を十分にカバーする事前収集データセットを仮定し、探索の困難さを回避していた。 - 本研究は online interaction のみという制約下で探索の本質的困難を扱う点が新しい。 - supremal visitation ratio という新指標を導入し、これが有界でない場合 online learning が指数的に困難になることを示す。 - f-divergence ベースの遷移不確実性を持つ online RMDP に対し、計算効率の良い初の sublinear regret アルゴリズムを提示。

3. 技術・手法の肝は?

- 訓練ダイナミクスと展開ダイナミクスの不一致を測る新指標 supremal visitation ratio を導入。 - 遷移不確実性を f-divergence で表現した RMDP を online 設定で解くアルゴリズムを設計。 - 計算効率を保ちつつ sublinear regret を達成する手法が肝。 - アルゴリズムの具体的な構成要素や更新則の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- supremal visitation ratio が非有界なら online learning が指数的に困難であることを理論的に示す。 - 提案アルゴリズムの sublinear regret を理論的に証明。 - supremal visitation ratio と interaction episode 数に対する最適依存性を示す一致する regret 下界を導出。 - 包括的な数値実験により理論結果を検証。

5. 議論はある?

- supremal visitation ratio が有界でない場合の指数的困難性という負の結果と、有界時の達成可能性の対比が議論の中心。 - 提案アルゴリズムの regret が下界と一致し、両指標への依存性が最適である点が理論的貢献。 - 数値実験の具体的設定や限界、実用上の含意は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別論文は明示されていない。 - 関連手法として、robust Markov decision process (RMDP)、f-divergence に基づく遷移不確実性、off-dynamics reinforcement learning、online reinforcement learning の regret 解析に関する文献が次に読むべき候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiting He, Zhishuai Liu, Weixin Wang, Pan Xu

分類: cs.LG, cs.AI, cs.RO, stat.ML

原文アブストラクト

Off-dynamics reinforcement learning (RL), where training and deployment transition dynamics are different, can be formulated as learning in a robust Markov decision process (RMDP) where uncertainties in transition dynamics are imposed. Existing literature mostly assumes access to generative models allowing arbitrary state-action queries or pre-collected datasets with a good state coverage of the deployment environment, bypassing the challenge of exploration. In this work, we study a more realistic and challenging setting where the agent is limited to online interaction with the training environment. To capture the intrinsic difficulty of exploration in online RMDPs, we introduce the supremal visitation ratio, a novel quantity that measures the mismatch between the training dynamics and the deployment dynamics. We show that if this ratio is unbounded, online learning becomes exponentially hard. We propose the first computationally efficient algorithm that achieves sublinear regret in online RMDPs with $f$-divergence based transition uncertainties. We also establish matching regret lower bounds, demonstrating that our algorithm achieves optimal dependence on both the supremal visitation ratio and the number of interaction episodes. Finally, we validate our theoretical results through comprehensive numerical experiments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI