日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2507.10843

最適輸送写像によるWasserstein正則化を用いたオフライン強化学習

Offline Reinforcement Learning with Wasserstein Regularization via Optimal Transport Maps

シェア:XThreadsFacebookLINEはてブBluesky

オフライン強化学習において、入力凸ニューラルネットワークで最適輸送写像をモデル化し、Wasserstein距離による正則化を敵対的学習なしで安定に計算する手法を提案。D4RLベンチマークで既存手法と同等以上の性能を示した。

詳しい要約

1. どんなもの?

- Offline RL において、静的データセットから最適方策を学習する手法。 - データ収集が高コストなロボティクス等を想定。 - 分布シフト(out-of-distribution action)を抑制するため Wasserstein distance による正則化を導入。 - ICNN で optimal transport maps をモデル化し、discriminator-free に Wasserstein distance を計算。 - D4RL benchmark で評価。

2. 先行研究と比べてどこがすごい?

- 既存の正則化は density ratio ベースの f-divergence などが主流。 - 提案法は Wasserstein distance を用いる点が異なる。 - out-of-distribution データに頑健で、action 間の類似性を捉えられる。 - discriminator-free で adversarial training を回避し、安定学習を実現。 - D4RL で既存の広く使われる手法と同等以上。

3. 技術・手法の肝は?

- Wasserstein distance による正則化を offline RL に導入。 - optimal transport maps を input-convex neural networks (ICNNs) でモデル化。 - これにより discriminator 不要で Wasserstein distance を計算。 - adversarial training を避け、学習の安定性を確保。 - 詳細なアルゴリズム構成は要旨からは不明。

4. どうやって有効だと検証した?

- D4RL benchmark dataset 上で評価。 - 広く使われる既存手法と比較し、同等または優れた性能を報告。 - 具体的なタスク・指標・比較手法名は要旨からは不明。 - code は https://github.com/motokiomura/Q-DOT で公開。

5. 議論はある?

- Wasserstein distance が out-of-distribution データに頑健で action 類似性を捉える利点を主張。 - discriminator-free により adversarial training の不安定性を回避できると述べる。 - 限界・失敗事例・計算コスト等の議論は要旨からは不明。

6. 次に読むべき論文は?

- f-divergence ベースの offline RL 正則化手法(例: BEAR 等の density ratio 系)。 - D4RL benchmark を用いる代表的な offline RL 手法(例: CQL, IQL)。 - optimal transport と ICNN を用いた Wasserstein 距離推定に関する研究。 - 提案コード Q-DOT の実装。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Motoki Omura, Yusuke Mukuta, Kazuki Ota, Takayuki Osa, Tatsuya Harada

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Offline reinforcement learning (RL) aims to learn an optimal policy from a static dataset, making it particularly valuable in scenarios where data collection is costly, such as robotics. A major challenge in offline RL is distributional shift, where the learned policy deviates from the dataset distribution, potentially leading to unreliable out-of-distribution actions. To mitigate this issue, regularization techniques have been employed. While many existing methods utilize density ratio-based measures, such as the $f$-divergence, for regularization, we propose an approach that utilizes the Wasserstein distance, which is robust to out-of-distribution data and captures the similarity between actions. Our method employs input-convex neural networks (ICNNs) to model optimal transport maps, enabling the computation of the Wasserstein distance in a discriminator-free manner, thereby avoiding adversarial training and ensuring stable learning. Our approach demonstrates comparable or superior performance to widely used existing methods on the D4RL benchmark dataset. The code is available at https://github.com/motokiomura/Q-DOT .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI