日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2602.11399

単一表現で全ての報酬を最適化することは本当に可能か?

Can We Really Learn One Representation to Optimize All Rewards?

シェア:XThreadsFacebookLINEはてブBluesky

強化学習における教師なし事前学習の理論的理解を深め、後退・前進表現学習の新しい変種を提案し、ゼロショット性能を大幅に改善した。

詳しい要約

1. どんなもの?

- 強化学習におけるunsupervised pretrainingの一つであるforward-backward (FB) representation learningを理論的に理解し、改善する研究。 - FBをsuccessor measure ratioのlow-rank approximationとして定式化し、その存在条件や収束性を分析。 - 理論に基づき、より理解しやすく最適化が簡単なFBの変種を提案。 - 実験では、提案手法がFBよりも10^5倍小さい誤差で収束し、zero-shot性能が平均24%向上。 - 下流タスクでのfine-tuningの初期化としても有効。

2. 先行研究と比べてどこがすごい?

- 従来のFBは経験的に成功しているが、理論的理解が不十分だった。 - 本研究はFBをsuccessor measure ratioのlow-rank approximationとして位置づけ、理論的枠組みを提供。 - 提案手法はFBよりも収束誤差が10^5倍小さく、zero-shot性能が平均24%向上。 - また、fine-tuningの初期化としても効率的であることを示した。

3. 技術・手法の肝は?

- FBをsuccessor measure ratioのlow-rank approximationとして定式化。 - その存在条件とlow-rank approximationの収束性を理論的に分析。 - 理論に基づき、よりシンプルで最適化しやすいFBの変種を提案。 - 具体的なアルゴリズムの詳細は要旨からは不明。

4. どうやって有効だと検証した?

- didactic settingsおよび10のstate-basedとimage-based continuous control domainsで実験。 - 提案手法がFBよりも10^5倍小さい誤差で望ましい表現に収束することを確認。 - zero-shot性能が平均24%向上することを示した。 - 下流タスクでのfine-tuningの初期化として効率的であることも実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- forward-backward (FB) representation learning - successor measure ratio - low-rank approximation - unsupervised pretraining in reinforcement learning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chongyi Zheng, Royina Karegoudra Jayanth, Benjamin Eysenbach

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

As unsupervised pretraining becomes increasingly ubiquitous in reinforcement learning, a more thorough theoretical understanding of these methods becomes of equal importance to their empirical success. We focus on the setting of unsupervised learning via interaction, where the forward-backward (FB) representation learning serves as a prototypical and popular example. In this paper, we shed light on FB by formally contextualizing the method within a broader class of recent methods that use regression to obtain a low-rank approximation of a successor measure ratio. Our analysis clarifies when FB representations can exist and how the low-rank approximation converges in practice. Building upon the theory, we propose a variant of FB that is both more amenable to theoretical understanding and simpler to optimize in practice. Experiments in didactic settings, as well as in $10$ state-based and image-based continuous control domains, demonstrate that our method converges to desired representations with $10^5 \times$ smaller errors than FB, achieving $+24\%$ improved zero-shot performance on average. We also demonstrate that zero-shot policies inferred by our algorithm provide an efficient initialization if the user prefers further fine-tuning on downstream tasks. Our project website is available at https://chongyi-zheng.github.io/onestep-fb.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI