日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2603.15857

正則化潜在ダイナミクス予測は行動基盤モデルの強力なベースラインである

Regularized Latent Dynamics Prediction is a Strong Baseline For Behavioral Foundation Models

シェア:XThreadsFacebookLINEはてブBluesky

ゼロショット強化学習のための状態特徴学習において、複雑な表現学習目的が本当に必要かを検証し、潜在空間での次状態予測に直交性正則化を加えたシンプルな手法RLDPが、既存の複雑な手法と同等以上の性能を達成することを示した。

詳しい要約

1. どんなもの?

- Behavioral Foundation Models (BFMs) は未知の報酬やタスクに適応できるエージェントを生成する手法。 - しかし、既存の状態特徴のスパン内の報酬関数に対してのみ準最適方策を生成可能。 - 本研究では、ゼロショットRLに複雑な表現学習目的が必要か検討。 - 自己教師あり次状態予測を再検討し、特徴類似性増大とスパン縮小の問題を指摘。 - 直交正則化を加えた Regularized Latent Dynamics Prediction (RLDP) を提案。 - 複雑な表現学習手法と同等以上、低カバレッジでも優位。

2. 先行研究と比べてどこがすごい?

- 従来のBFMsは複雑な目的と十分なデータセットカバレッジを必要とした。 - RLDPは単純な自己教師あり次状態予測に直交正則化を加えるだけで、最先端の複雑な表現学習手法に匹敵または凌駕。 - 低カバレッジシナリオで従来手法が性能低下するのに対し、RLDPは成功。 - 複雑な目的が不要である可能性を示唆。

3. 技術・手法の肝は?

- 自己教師あり次状態予測を潜在空間で行い、状態特徴を学習。 - 特徴多様性を維持するため、直交正則化を追加。 - これにより特徴類似性の増大を防ぎ、スパンを維持。 - 複雑な表現学習目的を排除し、シンプルな目的でゼロショットRLを実現。

4. どうやって有効だと検証した?

- 最先端の複雑な表現学習手法と比較し、同等以上または凌駕することを実証。 - 低カバレッジシナリオで従来手法より優れることを経験的に示した。 - 具体的なベンチマークやデータセットは要旨からは不明。

5. 議論はある?

- 複雑な表現学習目的がゼロショットRLに必須かという問いを提起。 - 自己教師あり次状態予測の限界(特徴類似性増大)を指摘。 - 直交正則化の有効性を示すが、他の正則化手法との比較や理論的保証は要旨からは不明。 - 低カバレッジでの優位性は示されたが、その理由や限界は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Behavioral Foundation Models (BFMs)、ゼロショットRL、複雑な表現学習手法。 - 関連手法:自己教師あり次状態予測、直交正則化。 - 具体的な論文名は要旨に記載なし。同分野の定番として、BFMsやゼロショットRLのサーベイ論文、表現学習の基礎論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pranaya Jajoo, Harshit Sikchi, Siddhant Agarwal, Amy Zhang, Scott Niekum, Martha White

分類: cs.AI, cs.LG, cs.RO

原文アブストラクト

Behavioral Foundation Models (BFMs) produce agents with the capability to adapt to any unknown reward or task. These methods, however, are only able to produce near-optimal policies for the reward functions that are in the span of some pre-existing state features, making the choice of state features crucial to the expressivity of the BFM. As a result, BFMs are trained using a variety of complex objectives and require sufficient dataset coverage, to train task-useful spanning features. In this work, we examine the question: are these complex representation learning objectives necessary for zero-shot RL? Specifically, we revisit the objective of self-supervised next-state prediction in latent space for state feature learning, but observe that such an objective alone is prone to increasing state-feature similarity, and subsequently reducing span. We propose an approach, Regularized Latent Dynamics Prediction (RLDP), that adds a simple orthogonality regularization to maintain feature diversity and can match or surpass state-of-the-art complex representation learning methods for zero-shot RL. Furthermore, we empirically show that prior approaches perform poorly in low-coverage scenarios where RLDP still succeeds.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI