日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

継続学習arXiv:2606.17493

ロボットが眠るとき:共有ポリシー学習のためのオフラインスキル統合

When Robots Sleep: Offline Skill Consolidation for Shared-Policy Robot Learning

シェア:XThreadsFacebookLINEはてブBluesky

ロボットが長期間学習する際に、新しいスキルを追加しても既存の共有ポリシー構造を保つための「眠る」フレームワークを提案。凍結したスキルメモリを用いてオフラインでポリシーを統合し、スキル間の信頼性低下を防ぐ。

詳しい要約

1. どんなもの?

- 長期間のdeploymentで新skillを追加する際、単一のshared controllerを維持するsequential robot skill learningを扱う。 - 過去のtrajectoriesやtask lossesが利用できない状況を想定。 - task-specific heads, routing, adaptersを使わない。 - skill-coupling collapseという失敗モードを同定。 - wake-sleep枠組みSleeping Robotsを提案。

2. 先行研究と比べてどこがすごい?

- 従来のcontinual learningはtask-specific headsやrouting, adaptersを許容しがち。 - 本研究は単一shared controllerを維持しつつ、過去データなしで新skillを追加。 - Meta-World MT5で最強のnon-oracle baseline比で平均success 64%改善、pairwise reliability x2.0。 - SurgicAIでcontinual imitation baselines比で平均successとbackward transfer改善。

3. 技術・手法の肝は?

- wakeで新skillを学習し、sleepでofflineにshared policyをconsolidate。 - compact frozen skill memoriesを使用。 - RL: frozen critics + unordered state buffers。 - imitation: frozen actor snapshots + unordered observation buffers。 - sleep中、memoriesがdifferentiable surrogate objectivesを定義。 - gradientsをNash bargainingで統合。 - adaptive anchoringとlocal excitabilityで安定consolidation。

4. どうやって有効だと検証した?

- Meta-World MT5で評価。 - 平均success 64%改善、pairwise reliability x2.0 (最強non-oracle baseline比)。 - SurgicAIで評価。 - 平均successとbackward transferがcontinual imitation baselines比で改善。 - pairwise reliabilityはcompetitive。 - 詳細な実験設定やbaseline名は要旨からは不明。

5. 議論はある?

- skill-coupling collapseの同定と、その緩和が主題。 - 単一shared controller制約下でのsequential skill learningの難しさを議論。 - 過去trajectories/task losses unavailableという制約の影響。 - Nash bargainingやadaptive anchoringの理論的保証は要旨からは不明。 - 限界や失敗ケースの議論は要旨からは不明。

6. 次に読むべき論文は?

- Meta-World MT5 (元ベンチマーク) - SurgicAI (関連データセット) - continual imitation learningの代表的手法 - reinforcement learningにおけるcontinual learning手法 - Nash bargainingを応用したmulti-objective optimization - 要旨で参照/比較されている個別論文は明示されていないため、上記は関連手法・ベンチマークの一般名。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nethmi Jayasinghe, Diana Gontero, Amit Ranjan Trivedi

分類: cs.RO

原文アブストラクト

Robots that learn over long deployments must add new skills without losing the shared policy structure that makes earlier skills reusable. We study sequential robot skill learning, where previous trajectories and task losses may be unavailable, and the deployed policy must remain a single shared controller without task-specific heads, routing, or adapters. We identify skill-coupling collapse, a failure mode in which individual skill success remains non-trivial while reliability among related skills deteriorates. We propose Sleeping Robots, a wake-sleep framework that learns each new skill during wake and consolidates the shared policy offline during sleep using compact frozen skill memories: frozen critics with unordered state buffers for reinforcement learning and frozen actor snapshots with unordered observation buffers for imitation learning. During sleep, these memories define differentiable surrogate objectives whose gradients are combined through Nash bargaining, with adaptive anchoring and local excitability for stable consolidation. On Meta-World MT5, Sleeping Robots improves average success by 64 % and pairwise reliability by x 2.0 over the strongest non-oracle baseline, and on SurgicAI it improves average success and backward transfer relative to continual imitation baselines while remaining competitive on pairwise reliability.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI