日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2505.13144

時間距離を考慮した遷移拡張によるオフライン・モデルベース強化学習

Temporal Distance-aware Transition Augmentation for Offline Model-based Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

オフライン強化学習において、生の状態空間ではなく時間的に構造化された潜在空間で遷移を拡張するTempDATAを提案し、スパース報酬の長期的タスクで従来手法を上回る性能を達成した。

詳しい要約

1. どんなもの?

- Offline reinforcement learning (RL) において、固定データセットから高性能方策を学習する枠組み。 - Offline model-based RL (MBRL) の一種で、学習した dynamics model で遷移を拡張する手法。 - 提案手法は Temporal Distance-Aware Transition Augmentation (TempDATA) と呼ばれる。 - 生の state space ではなく、時間的に構造化された latent space で augmented transitions を生成する。 - sparse-reward, long-horizon タスクでの性能向上を狙う。

2. 先行研究と比べてどこがすごい?

- 従来の offline MBRL は sparse-reward, long-horizon タスクで苦戦しがち。 - TempDATA は遷移を raw state space ではなく temporally structured latent space で生成する点が新しい。 - 実験で従来の offline MBRL 手法を上回ると報告。 - diffusion-based trajectory augmentation や goal-conditioned RL と同等以上、または凌駕する性能を達成。 - 対象は D4RL AntMaze, FrankaKitchen, CALVIN, pixel-based FrankaKitchen。

3. 技術・手法の肝は?

- MBRL フレームワークで、学習した dynamics model を用いて遷移を拡張する。 - 拡張は raw state space ではなく temporally structured latent space 上で行う。 - long-horizon 挙動をモデル化するため、latent abstraction を学習。 - この latent abstraction は trajectory level と transition level の両方の state space から temporal distance を捉える。 - 具体的なネットワーク構成や損失関数の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- D4RL AntMaze, FrankaKitchen, CALVIN, pixel-based FrankaKitchen で実験。 - 従来の offline MBRL 手法との比較で優位性を確認。 - diffusion-based trajectory augmentation および goal-conditioned RL と同等以上、または上回る性能を達成。 - 評価指標や実験設定の詳細は要旨からは不明。

5. 議論はある?

- sparse-reward, long-horizon タスクにおける offline MBRL の課題に対処する動機が述べられている。 - latent space 上での遷移拡張が有効であることを実験的に示す。 - 限界や失敗ケース、計算コスト、ハイパーパラメータ感度などの議論は要旨からは不明。 - 理論的な保証や OOD サンプルへの影響の詳細も要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として挙げられている diffusion-based trajectory augmentation 関連の研究。 - goal-conditioned RL 関連の研究。 - 従来の offline MBRL 手法(MOPO, MOReL など同分野の定番)。 - D4RL, FrankaKitchen, CALVIN を用いた offline RL ベンチマーク研究。 - temporal distance や latent abstraction を用いた表現学習関連の研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dongsu Lee, Minhae Kwon

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

The goal of offline reinforcement learning (RL) is to extract a high-performance policy from the fixed datasets, minimizing performance degradation due to out-of-distribution (OOD) samples. Offline model-based RL (MBRL) is a promising approach that ameliorates OOD issues by enriching state-action transitions with augmentations synthesized via a learned dynamics model. Unfortunately, seminal offline MBRL methods often struggle in sparse-reward, long-horizon tasks. In this work, we introduce a novel MBRL framework, dubbed Temporal Distance-Aware Transition Augmentation (TempDATA), that generates augmented transitions in a temporally structured latent space rather than in raw state space. To model long-horizon behavior, TempDATA learns a latent abstraction that captures a temporal distance from both trajectory and transition levels of state space. Our experiments confirm that TempDATA outperforms previous offline MBRL methods and achieves matching or surpassing the performance of diffusion-based trajectory augmentation and goal-conditioned RL on the D4RL AntMaze, FrankaKitchen, CALVIN, and pixel-based FrankaKitchen.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI