日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2606.12890

適応学習:表現ベース強化学習によるマルチタスクスキル転移

Learning to Adapt: Representation-Based Reinforcement Learning for Multi-Task Skill Transfer

シェア:XThreadsFacebookLINEはてブBluesky

スペクトルMDP分解を用いてタスク非依存のコアとタスク固有の調整に価値関数を構造化し、マルチタスク強化学習の効率的な知識共有と新タスクへの転移を実現するフレームワークRepMT-SACを提案した。

詳しい要約

1. どんなもの?

- 複数タスクの強化学習において、知識共有と新タスクへの転移を効率的に行うフレームワーク「RepMT-SAC」を提案。 - spectral MDP decomposition を用いて転移可能なダイナミクスを捉え、価値関数をタスク非依存のコアと最小限のタスク固有調整に構造化。 - 分布内タスクでのゼロショット性能と、分布外タスクへの少数ショット適応を実現。

2. 先行研究と比べてどこがすごい?

- 従来の強化学習はサンプル効率が低く、タスク間の汎化が不十分。 - RepMT-SAC は spectral MDP decomposition により転移可能なダイナミクスを抽出し、価値関数をタスク非依存コアとタスク固有調整に分離。 - これにより、分布内タスクで強いゼロショット性能、分布外タスクで迅速な少数ショット適応を実現し、ベースラインを最大30%上回る。

3. 技術・手法の肝は?

- spectral MDP decomposition を利用して、タスク間で共有可能なダイナミクスを表現。 - 価値関数をタスク非依存のコア部分と、最小限のタスク固有調整部分に分解する構造を採用。 - これにより、効率的な知識共有と新タスクへのロバストな転移を可能にする。

4. どうやって有効だと検証した?

- quadcopter trajectory-following タスクを用いて、分布内および分布外のコンテキストで評価。 - ベースラインと比較して最大30%の性能向上を達成。 - ゼロショット性能と少数ショット適応の有効性を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、multi-task RL、meta-RL、SAC (Soft Actor-Critic) などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aryan Naveen, Haitong Ma, Haldun Balim, Na Li

分類: cs.RO

原文アブストラクト

Reinforcement learning has achieved remarkable success in learning complex control policies, yet its applicability remains limited due to sample inefficiency and poor generalization across tasks. In this work, we propose RepMT-SAC, a framework for multi-task RL that enables efficient knowledge sharing and robust transfer to new tasks. RepMT-SAC uses spectral MDP decomposition to capture transferable dynamics, structuring the value function into a task-agnostic core with a minimal task-specific adjustment. This design allows for strong zero-shot performance on in-distribution tasks and rapid few-shot adaptation to out-of-distribution tasks. We evaluate RepMT-SAC on quadcopter trajectory-following tasks across in-distribution and out-of-distribution contexts, demonstrating that it outperforms baselines by up to 30%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI