日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチタスク強化学習arXiv:2511.19584

大規模マルチタスク世界モデルによる連続制御の学習

Learning Massively Multitask World Models for Continuous Control

シェア:XThreadsFacebookLINEはてブBluesky

200の多様なタスクで言語条件付き世界モデルを事前学習し、オンライン強化学習で微調整することで、マルチタスク性能とデータ効率を向上させた研究。

詳しい要約

1. どんなもの?

- 連続制御のための大規模マルチタスク強化学習(RL)研究 - 200タスクの新ベンチマークを提案 - 多様なドメイン・embodimentを横断 - 各タスクにlanguage instructions・demonstrations・任意でimage observationsを付与 - 言語条件付きマルチタスクworld model「Newt」を提案 - demonstrationsで事前学習後、全タスクのonline interactionで共同学習 - 環境・demonstrations・学習/評価コード・200以上のcheckpointsを公開

2. 先行研究と比べてどこがすごい?

- 従来の連続制御RLはsingle-taskまたはofflineが主流で、online RLはスケールしないという見方が支配的 - 本研究はfoundation modelのレシピ(大規模pretraining+軽量RL)に着想 - 単一agentを数百タスクでonline interactionにより学習する方向を検証 - 200タスクのベンチマークを整備し、この方向の研究を加速 - Newtは強いbaselinesに対しマルチタスク性能とdata-efficiencyで優位と報告

3. 技術・手法の肝は?

- 言語条件付きマルチタスクworld model「Newt」 - 第一段階:demonstrationsでpretraining - task-aware representationsとaction priorsを獲得 - 第二段階:全タスクのonline interactionを通じて共同学習 - language instructionsを条件として利用 - image observationsは任意で扱う設計 - 詳細なアーキテクチャや学習目的は要旨からは不明

4. どうやって有効だと検証した?

- 200タスクの新ベンチマーク上で評価 - 強いbaselinesとの比較でマルチタスク性能とdata-efficiencyの向上を報告 - open-loop controlで強い性能を示す - 未見タスクへの迅速な適応(rapid adaptation)を確認 - 具体的な指標・実験設定の詳細は要旨からは不明

5. 議論はある?

- online RLのスケール可能性に対する従来の見方への反証を提示 - foundation model型レシピ(大規模pretraining+軽量RL)の連続制御への適用可能性を示唆 - ベンチマーク・コード・checkpoints公開により再現性と追研究を促進 - 限界や失敗事例、計算コスト、タスク間干渉などの議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的なbaselinesは明示されていない - 関連手法として以下が考えられる(同分野の定番) - world models(例:Dreamer系) - language-conditioned RL / instruction following - multitask RLおよびmeta-RL - demonstrationsを用いたpretraining(imitation learning / behavior cloning) - 本論文のベンチマークとNewtの詳細は原論文を参照

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nicklas Hansen, Hao Su, Xiaolong Wang

分類: cs.LG, cs.CV, cs.RO

原文アブストラクト

General-purpose control demands agents that act across many tasks and embodiments, yet research on reinforcement learning (RL) for continuous control remains dominated by single-task or offline regimes, reinforcing a view that online RL does not scale. Inspired by the foundation model recipe (large-scale pretraining followed by light RL) we ask whether a single agent can be trained on hundreds of tasks with online interaction. To accelerate research in this direction, we introduce a new benchmark with 200 diverse tasks spanning many domains and embodiments, each with language instructions, demonstrations, and optionally image observations. We then present \emph{Newt}, a language-conditioned multitask world model that is first pretrained on demonstrations to acquire task-aware representations and action priors, and then jointly optimized with online interaction across all tasks. Experiments show that Newt yields better multitask performance and data-efficiency than a set of strong baselines, exhibits strong open-loop control, and enables rapid adaptation to unseen tasks. We release our environments, demonstrations, code for training and evaluation, as well as 200+ checkpoints.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI