日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ゼロショット強化学習arXiv:2610.14400

Sparse-TD-JEPA: スパース潜在タスク表現によるゼロショット強化学習の改善

Sparse-TD-JEPA: Improving Zero-Shot Reinforcement Learning With Sparse Latent Task Representations

シェア:XThreadsFacebookLINEはてブBluesky

後継特徴量ベースのゼロショット強化学習において、タスクエンコーダの潜在表現にL1スパース性ペナルティを加えることで報酬信号を集中させ、TD-JEPAの性能を向上させる手法を提案。

詳しい要約

1. どんなもの?

- Successor-feature-based zero-shot RLの新手法 - 事前学習: offline, reward-freeデータでtask encoderとsuccessor-feature predictorを訓練 - テスト時: 少数のlabeledデータでclosed-form linear regressionによりpolicyを復元 - 提案: Sparse-TD-JEPA - TD-JEPA (Temporal-Difference Joint-Embedding Predictive Architecture) にl1 sparsity penaltyを1行追加 - 対象: zero-shot reinforcement learning

2. 先行研究と比べてどこがすごい?

- 従来のsuccessor-feature系はdense表現によりreward信号がstate空間全体に拡散 - 結果: goal-relevant stateとbackgroundのcontrastが低下しpolicyへの信号が弱まる - 提案: l1 sparsity penaltyでreward-predictive構造をlatent空間の小さい有効部分空間に集中 - 利点: アーキテクチャ変更不要、closed-form inference手続きの変更不要 - 訓練時のみpenaltyを適用 - 13のdomain-level比較すべてでTD-JEPAを上回る

3. 技術・手法の肝は?

- l1 sparsity penaltyをtask encoderのlatent空間に適用 - reward-predictive構造をより小さい有効部分空間に集中させる - penaltyは訓練時のみ適用 - アーキテクチャ変更なし - closed-form inference手続きの変更なし - TD-JEPAへの1行のコード追加で実装

4. どうやって有効だと検証した?

- DeepMind Control (DMC) SuiteとOGBenchの65タスクで評価 - 対象: locomotion, navigation, trajectory stitching, puzzle solving, robotic manipulation - 13のdomain-level比較すべてでTD-JEPAを改善 - DMC: 平均returnが661±6から714±3に向上 - OGBench: 平均success rateが38.0±0.8から48.4±2.3に向上 - antmaze navigationとstitchingで13.4-18.0 percentage point改善 - 13ドメイン中9でzero-shotベースライン中最高平均性能 - 分析: sparsityによりinferred reward landscapeがよりsharpかつtask-informativeに

5. 議論はある?

- dense表現の制限を特定: reward信号が拡散しcontrast低下 - sparsity penaltyがreward landscapeをsharpかつtask-informativeにすることを分析で示す - 訓練時のみのpenaltyで推論手続きに変更不要という設計上の利点 - 限界や失敗ケース、計算コスト、ハイパーパラメータ感度については要旨からは不明

6. 次に読むべき論文は?

- Temporal-Difference Joint-Embedding Predictive Architecture (TD-JEPA) - Successor-feature-based zero-shot reinforcement learning - DeepMind Control (DMC) Suite - OGBench - Joint-Embedding Predictive Architecture (JEPA) 関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Duaa Nakshbandi, Zhiyu An, Wan Du

分類: cs.LG

原文アブストラクト

Successor-feature-based zero-shot reinforcement learning methods pre-train a task encoder and successor-feature predictor on offline, reward-free data, then recover a policy at test time by solving a closed-form linear regression over a small labeled dataset. We identify an underexplored limitation of this approach: when the task encoder produces dense representations, the inferred reward signal becomes diffuse across the state space, reducing the contrast between goal-relevant states and the background and providing a weaker signal for the policy to follow. We address this limitation by introducing an l1 sparsity penalty that concentrates reward-predictive structure into a smaller effective subspace of the task encoder's latent space. The penalty is applied only during training and requires no architectural change or modification to the closed-form inference procedure. We instantiate this approach as Sparse-TD-JEPA, a single-line of code addition based on Temporal-Difference Joint-Embedding Predictive Architecture (TD-JEPA) that significantly improved its performance in zero-shot reinforcement learning. We evaluate Sparse-TD-JEPA on 65 tasks across the DeepMind Control (DMC) Suite and OGBench, covering locomotion, navigation, trajectory stitching, puzzle solving, and robotic manipulation. Sparse-TD-JEPA improves over TD-JEPA in all 13 domain-level comparisons. On DMC, it increases the average return from 661 +- 6 to 714 +- 3. On OGBench, it increases the average success rate from 38.0 +- 0.8 to 48.4 +- 2.3, with improvements of 13.4-18.0 percentage points on the evaluated antmaze navigation and stitching domains. Overall, Sparse-TD-JEPA achieves the highest mean performance among established zero-shot baselines in nine of the 13 domains. Analysis further shows that sparsity produces a sharper and more task-informative inferred reward landscape.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI