日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2606.00780

行動不変なタスク表現学習とTransformer基盤の世界モデルによるオフラインメタ強化学習

Behavior-Invariant Task Representation Learning with Transformer-based World Models for Offline Meta-Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

オフラインメタ強化学習におけるコンテキストとポリシーの分布シフト問題を解決するため、情報理論に基づくタスク表現学習とTransformer型確率的世界モデルを統合したフレームワークを提案した。

詳しい要約

1. どんなもの?

- オフラインmeta-reinforcement learning (offline meta-RL) のための新しいフレームワーク。 - 情報理論的タスク表現学習とTransformerベースの確率的world modelを統合。 - 行動方策に不変なタスク定義潜在変数を抽出し、context distribution shiftを緩和。 - 想像上のrolloutに保守的価値ペナルティを適用し、policy shiftとmodel exploitationに対処。 - スパース報酬やout-of-distribution設定での安定性と汎化性能を向上。

2. 先行研究と比べてどこがすごい?

- 従来のoffline meta-RLはcontext distribution shiftとpolicy distribution shiftに悩まされ、特にスパース報酬で脆弱。 - 提案手法は行動方策に不変なタスク表現を学習することでcontext shiftを軽減。 - さらに保守的価値ペナルティでpolicy shiftとmodel exploitationを抑制。 - 既存のstate-of-the-art手法を上回る性能、安定性、汎化を実現。

3. 技術・手法の肝は?

- 情報理論的タスク表現学習:行動方策に不変なタスク定義潜在変数を抽出。 - Transformerベースの確率的world modelを採用。 - 想像上のrolloutに保守的価値ペナルティを適用し、モデル不正確さの悪用を防止。 - これによりcontext distribution shiftとpolicy shiftの両方に対処。

4. どうやって有効だと検証した?

- 広範な評価を実施し、state-of-the-art手法と比較。 - out-of-distribution設定とスパース報酬設定で優れた安定性と汎化性能を示す。 - 具体的なベンチマークや指標は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてoffline meta-RL、Transformer-based world models、information-theoretic task representation learning、conservative value penaltyが挙げられる。 - 同分野の定番としてoffline RL (e.g., CQL, IQL) やmeta-RL (e.g., MAML, PEARL) が考えられるが、要旨に直接の参照はない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fuyuan Qian, Menglong Zhang, Song Wang, Quanying Liu

分類: cs.LG, cs.AI

原文アブストラクト

Offline meta-reinforcement learning leverages static datasets to enable agents to generalize to unseen environments by combining offline efficiency with meta-learning adaptability, yet it faces key challenges from context and policy distribution shifts. These issues hinder agents from adapting to online environments, and are further exacerbated under sparse-reward settings. As a result, agents often become trapped in an inherent pattern dilemma, failing to achieve robust generalization. In this work, we propose a novel framework that integrates information-theoretic task representation learning with a Transformer-based stochastic world model. Our approach extracts task-defining latent variables that are invariant to behavior policy, thereby effectively mitigating the context distribution shift. To further handle policy shift and model exploitation, we apply a conservative value penalty to imagination-based rollouts, preventing the policy from exploiting model inaccuracies while maintaining robust adaptation. Extensive evaluations demonstrate that our method outperforms state-of-the-art approaches, with superior stability and generalization under out-of-distribution and sparse-reward settings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI