日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ゼロショット強化学習arXiv:2510.00739

TD-JEPA:ゼロショット強化学習のための潜在予測表現

TD-JEPA: Latent-predictive Representations for Zero-Shot Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

時間差分学習を用いて長期潜在ダイナミクスを予測する表現をオフライン・報酬なし遷移から学習し、テスト時に任意の報酬関数をゼロショット最適化できる強化学習手法を提案。

詳しい要約

1. どんなもの?

- 強化学習(RL)向けの表現学習手法 TD-JEPA を提案する論文 - 潜在予測(latent prediction)を TD 学習に拡張し、offline・reward-free の遷移から長期潜在ダイナミクスを予測する表現を学習 - 明示的な state encoder と task encoder、policy-conditioned な multi-step predictor、パラメータ化された複数の policy を潜在空間で直接学習 - テスト時に任意の報酬関数を zero-shot で最適化できる unsupervised RL フレームワーク - 画像入力(pixels)からの zero-shot RL も対象とする

2. 先行研究と比べてどこがすごい?

- 既存の潜在予測手法は一般に単一タスク学習、one-step 予測、または on-policy の trajectory データに限定されていた - TD 学習により、複数 policy にわたる長期潜在ダイナミクスを offline・reward-free の遷移から予測できることを示す点が新規 - TD ベースの潜在予測表現を unsupervised RL に組み込んだ点が先行研究との違い - 従来の zero-shot RL ベースラインと比較して、locomotion・navigation・manipulation で同等以上、特に pixels からの zero-shot RL で優位と報告

3. 技術・手法の肝は?

- TD 学習を潜在予測に用い、長期の潜在ダイナミクスを予測する表現を学習 - state encoder と task encoder を明示的に学習 - policy-conditioned な multi-step predictor を学習 - パラメータ化された複数の policy を潜在空間で直接学習 - 理論的に、理想化した TD-JEPA は適切な初期化で collapse を回避し、encoder が長期 policy ダイナミクスの低ランク分解を捉え、predictor がその successor features を潜在空間で回復することを示す

4. どうやって有効だと検証した?

- ExoRL と OGBench の 13 データセットにわたり、locomotion・navigation・manipulation タスクで評価 - state-of-the-art ベースラインと比較し、同等または上回る性能を報告 - 特に pixels からの zero-shot RL という難設定で有効性を示す - 理論面では理想化した TD-JEPA の collapse 回避と低ランク分解・successor features 回復を解析

5. 議論はある?

- 理論解析は理想化した variant に対するものであり、実際の TD-JEPA への適用範囲は要旨からは不明 - collapse 回避が適切な初期化に依存する点の実務的影響は要旨からは不明 - 評価は ExoRL と OGBench の 13 データセットに限られ、他領域への一般性は要旨からは不明 - offline・reward-free 設定や pixels 入力での限界・失敗事例は要旨からは不明

6. 次に読むべき論文は?

- TD-JEPA の理論解析の基礎となる successor features に関する研究 - 潜在予測表現学習の代表的手法である JEPA 関連研究 - offline RL ベンチマークである ExoRL を用いた先行研究 - OGBench を用いた offline goal-conditioned RL 研究 - zero-shot RL のベースライン手法に関する論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Marco Bagatella, Matteo Pirotta, Ahmed Touati, Alessandro Lazaric, Andrea Tirinzoni

分類: cs.LG

原文アブストラクト

Latent prediction--where agents learn by predicting their own latents--has emerged as a powerful paradigm for training general representations in machine learning. In reinforcement learning (RL), this approach has been explored to define auxiliary losses for a variety of settings, including reward-based and unsupervised RL, behavior cloning, and world modeling. While existing methods are typically limited to single-task learning, one-step prediction, or on-policy trajectory data, we show that temporal difference (TD) learning enables learning representations predictive of long-term latent dynamics across multiple policies from offline, reward-free transitions. Building on this, we introduce TD-JEPA, which leverages TD-based latent-predictive representations into unsupervised RL. TD-JEPA trains explicit state and task encoders, a policy-conditioned multi-step predictor, and a set of parameterized policies directly in latent space. This enables zero-shot optimization of any reward function at test time. Theoretically, we show that an idealized variant of TD-JEPA avoids collapse with proper initialization, and learns encoders that capture a low-rank factorization of long-term policy dynamics, while the predictor recovers their successor features in latent space. Empirically, TD-JEPA matches or outperforms state-of-the-art baselines on locomotion, navigation, and manipulation tasks across 13 datasets in ExoRL and OGBench, especially in the challenging setting of zero-shot RL from pixels.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI