日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/メタ学習arXiv:2601.19810

効率的探索のための教師なし学習:自己設定目標による適応的方策の事前学習

Unsupervised Learning of Efficient Exploration: Pre-training Adaptive Policies via Self-Imposed Goals

シェア:XThreadsFacebookLINEはてブBluesky

エージェントが自ら目標を設定・追求して効率的な探索と適応を学ぶ教師なしメタ学習手法ULEEを提案し、新規タスクへのゼロショット・少数ショット性能を向上させた。

詳しい要約

1. どんなもの?

- 教師なし事前学習により強化学習エージェントに事前知識を与え、下流タスクの学習を加速する手法。 - 自己目標を設定・追求するエージェントを調査。 - 目標の生成・選択・学習が課題。 - 下流タスクの広い分布に焦点を当て、ゼロショット解決が不可能な設定を扱う。 - 目標タスクが事前学習分布外または未知の場合に自然に生じる。 - メタ学習フレームワーク内で効率的なマルチエピソード探索と適応を最適化。 - エージェントの適応後性能の推定を進化させて訓練カリキュラムを導く。 - ULEEを提案:インコンテキスト学習器と敵対的目標生成戦略を組み合わせた教師なしメタ学習法。 - 訓練をエージェントの能力のフロンティアで維持。 - XLand-MiniGridベンチマークで評価。

2. 先行研究と比べてどこがすごい?

- 従来の教師なし事前学習と比較して、効率的なマルチエピソード探索と適応をメタ学習フレームワークで最適化。 - 敵対的目標生成戦略により、訓練をエージェントの能力のフロンティアで維持。 - 進化する適応後性能推定でカリキュラムを導く点が新しい。 - ゼロショットおよび少数ショット性能が向上し、長い微調整の強力な初期化を提供。 - スクラッチからの学習、DIAYN事前学習、代替カリキュラムを上回る。

3. 技術・手法の肝は?

- 教師なしメタ学習法ULEEを提案。 - インコンテキスト学習器と敵対的目標生成戦略を組み合わせる。 - 敵対的目標生成により、訓練をエージェントの能力のフロンティアで維持。 - メタ学習フレームワーク内で効率的なマルチエピソード探索と適応を最適化。 - エージェントの適応後性能の推定を進化させて訓練カリキュラムを導く。 - 自己目標を設定・追求するエージェントを活用。

4. どうやって有効だと検証した?

- XLand-MiniGridベンチマークで評価。 - ULEE事前学習により、新しい目的、環境ダイナミクス、マップ構造に一般化する探索と適応能力が向上。 - 結果のポリシーはゼロショットおよび少数ショット性能が向上。 - 長い微調整プロセスの強力な初期化を提供。 - スクラッチからの学習、DIAYN事前学習、代替カリキュラムを上回る。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- DIAYN事前学習 - 代替カリキュラム - スクラッチからの学習 - XLand-MiniGridベンチマーク

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Octavio Pappalardo

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Unsupervised pre-training can equip reinforcement learning agents with prior knowledge and accelerate learning in downstream tasks. A promising direction, grounded in human development, investigates agents that learn by setting and pursuing their own goals. The core challenge lies in how to effectively generate, select, and learn from such goals. Our focus is on broad distributions of downstream tasks where solving every task zero-shot is infeasible. Such settings naturally arise when the target tasks lie outside of the pre-training distribution or when their identities are unknown to the agent. In this work, we (i) optimize for efficient multi-episode exploration and adaptation within a meta-learning framework, and (ii) guide the training curriculum with evolving estimates of the agent's post-adaptation performance. We present ULEE, an unsupervised meta-learning method that combines an in-context learner with an adversarial goal-generation strategy that maintains training at the frontier of the agent's capabilities. On XLand-MiniGrid benchmarks, ULEE pre-training yields improved exploration and adaptation abilities that generalize to novel objectives, environment dynamics, and map structures. The resulting policy attains improved zero-shot and few-shot performance, and provides a strong initialization for longer fine-tuning processes. It outperforms learning from scratch, DIAYN pre-training, and alternative curricula. Code is available at: https://github.com/Octavio-Pappalardo/ulee-jax

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI