日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

生涯学習arXiv:2506.05985

生涯ロボット学習のための動的混合プログレッシブパラメータ効率エキスパートライブラリ

Dynamic Mixture of Progressive Parameter-Efficient Expert Library for Lifelong Robot Learning

シェア:XThreadsFacebookLINEはてブBluesky

低ランクエキスパートのライブラリを漸進的に構築し、軽量ルーターで動的に組み合わせることで、破滅的忘却を抑えつつ生涯にわたるロボット学習を効率化する手法を提案。

詳しい要約

1. どんなもの?

- 生涯学習(lifelong learning)のためのロボット学習フレームワーク DMPEL(Dynamic Mixture of Progressive Parameter-Efficient Expert Library)の提案。 - 低ランクの expert library を逐次的に構築し、軽量 router で expert を動的に組み合わせて end-to-end policy を形成する。 - 凍結した pretrained model を少数パラメータで制御する parameter-efficient fine-tuning を生涯学習へ拡張するもの。 - LIBERO benchmark で継続適応時の success rate を評価。

2. 先行研究と比べてどこがすごい?

- 従来の pretrain-then-finetune 型 parameter-efficient fine-tuning は単一タスク適応が中心で、test-time task identifier を前提とし、isolated adapters 間の知識共有が限定的だった。 - DMPEL は task identifier を必要とせず、router による expert の動的混合で柔軟な forward transfer を実現。 - expert coefficient replay により、全 policy に対する experience replay より大幅に少ない storage・computation で forgetting を緩和。 - LIBERO 上で state-of-the-art の生涯学習手法を success rate で上回り、trainable parameters と storage も最小限。

3. 技術・手法の肝は?

- 低ランク expert library を逐次的に追加構築する progressive な構造。 - 軽量 router が expert を動的に重み付け結合し、end-to-end policy を生成。 - fine-tuned parameters のモジュール構造を利用した expert coefficient replay を導入。 - 過去タスクの frozen experts を router が正確に呼び出せるよう誘導し、forgetting を抑制。 - 全 policy の experience replay ではなく expert 係数の replay に留め、効率化。

4. どうやって有効だと検証した?

- 生涯ロボット学習 benchmark である LIBERO 上で extensive experiments を実施。 - 継続適応中の success rate を state-of-the-art の生涯学習手法と比較。 - trainable parameters と storage の観点でも最小限であることを報告。 - 詳細な ablation や設定は要旨からは不明。

5. 議論はある?

- test-time task identifier への依存を排除し、知識共有を可能にした点を主張。 - expert coefficient replay の storage・computation 効率性を議論。 - 限界や失敗ケース、router の汎化性、expert library のスケーラビリティに関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及される state-of-the-art の lifelong learning 手法(具体的名称は要旨からは不明)。 - 基盤となる parameter-efficient fine-tuning(adapter 系)および experience replay 関連研究。 - 評価 benchmark の LIBERO。 - 関連する mixture-of-experts や router を用いた継続学習手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuheng Lei, Sitong Mao, Shunbo Zhou, Hongyuan Zhang, Xuelong Li, Ping Luo

分類: cs.LG, cs.RO

原文アブストラクト

A generalist agent must continuously learn and adapt throughout its lifetime, achieving efficient forward transfer while minimizing catastrophic forgetting. Previous work within the dominant pretrain-then-finetune paradigm has explored parameter-efficient fine-tuning for single-task adaptation, effectively steering a frozen pretrained model with a small number of parameters. However, in the context of lifelong learning, these methods rely on the impractical assumption of a test-time task identifier and restrict knowledge sharing among isolated adapters. To address these limitations, we propose Dynamic Mixture of Progressive Parameter-Efficient Expert Library (DMPEL) for lifelong robot learning. DMPEL progressively builds a low-rank expert library and employs a lightweight router to dynamically combine experts into an end-to-end policy, enabling flexible and efficient lifelong forward transfer. Furthermore, by leveraging the modular structure of the fine-tuned parameters, we introduce expert coefficient replay, which guides the router to accurately retrieve frozen experts for previously encountered tasks. This technique mitigates forgetting while being significantly more storage- and computation-efficient than experience replay over the entire policy. Extensive experiments on the lifelong robot learning benchmark LIBERO demonstrate that our framework outperforms state-of-the-art lifelong learning methods in success rates during continual adaptation, while utilizing minimal trainable parameters and storage.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI