日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2506.08463

RCSLの性能を理論的に改善する方法

How to Provably Improve Return Conditioned Supervised Learning?

シェア:XThreadsFacebookLINEはてブBluesky

リターン条件付き教師あり学習(RCSL)の性能限界を克服するため、データ内最適リターンを用いるReinforced RCSLを提案し、理論的・実験的に改善を示した。

詳しい要約

1. どんなもの?

- Return-Conditioned Supervised Learning (RCSL) の性能限界を克服する枠組み「Reinforced RCSL」の提案。 - RCSL は state と return を入力とする supervised learning として offline RL を解く手法で、TD learning の不安定性を回避できる。 - 本論文は RCSL の stitching 性質の欠如という批判に対処することを目的とする。

2. 先行研究と比べてどこがすごい?

- 従来の RCSL は stitching property を欠き、offline dataset を生成した policy の品質に性能が本質的に制限される。 - 既存の対処法として複雑な return augmentation 技術が必要とされることが多い。 - Reinforced RCSL は複雑な return augmentation を必要とせず、理論的に標準 RCSL を常に上回ることを示す点が新しい。

3. 技術・手法の肝は?

- 鍵となる概念は in-distribution optimal return-to-go。 - 現在の state に基づき、policy を用いて dataset 内で達成可能な最良の将来 return を特定する。 - これにより複雑な return augmentation 手法を回避しつつ、RCSL の枠組みを強化する。 - 理論解析により標準 RCSL より一貫して優れることを示す。

4. どうやって有効だと検証した?

- 理論解析により Reinforced RCSL が標準 RCSL を一貫して上回ることを示す。 - 複数の benchmarks における実証結果で有意な性能改善を確認。 - 具体的な benchmark 名や評価指標は要旨からは不明。

5. 議論はある?

- RCSL の stitching property 欠如という批判への対処が中心的な議論。 - in-distribution optimal return-to-go の導入が複雑な return augmentation を不要にする点を主張。 - 理論と実証の両面から有効性を主張するが、限界や失敗ケースの議論は要旨からは不明。

6. 次に読むべき論文は?

- 標準的な Return-Conditioned Supervised Learning (RCSL) の原論文。 - offline RL における stitching を扱う手法(例: Decision Transformer 系や Conservative Q-Learning などの定番 offline RL 手法)。 - return augmentation を用いる関連研究。 - 具体的な参照論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhishuai Liu, Yu Yang, Ruhan Wang, Pan Xu, Dongruo Zhou

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

In sequential decision-making problems, Return-Conditioned Supervised Learning (RCSL) has gained increasing recognition for its simplicity and stability in modern decision-making tasks. Unlike traditional offline reinforcement learning (RL) algorithms, RCSL frames policy learning as a supervised learning problem by taking both the state and return as input. This approach eliminates the instability often associated with temporal difference (TD) learning in offline RL. However, RCSL has been criticized for lacking the stitching property, meaning its performance is inherently limited by the quality of the policy used to generate the offline dataset. To address this limitation, we propose a principled and simple framework called Reinforced RCSL. The key innovation of our framework is the introduction of a concept we call the in-distribution optimal return-to-go. This mechanism leverages our policy to identify the best achievable in-dataset future return based on the current state, avoiding the need for complex return augmentation techniques. Our theoretical analysis demonstrates that Reinforced RCSL can consistently outperform the standard RCSL approach. Empirical results further validate our claims, showing significant performance improvements across a range of benchmarks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI