日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

生涯学習/模倣学習arXiv:2603.10929

多モーダル潜在リプレイと段階的調整による生涯模倣学習

Lifelong Imitation Learning with Multimodal Latent Replay and Incremental Adjustment

シェア:XThreadsFacebookLINEはてブBluesky

逐次的なタスクで継続的にポリシーを改善する生涯模倣学習フレームワークを提案。視覚・言語・ロボット状態を潜在空間で保存・再利用し、タスク埋め込みの角度マージン制約で適応を安定化。LIBEROベンチマークでSOTAを達成。

詳しい要約

1. どんなもの?

- 逐次タスクを継続的に学習するlifelong imitation learningフレームワーク。 - 従来のexperience replayをやめ、visual・linguistic・robot's stateのマルチモーダル潜在空間でcompact表現を保存・再利用。 - incremental feature adjustment mechanismを導入し、task embeddingsの進化をangular margin constraintで正則化。 - LIBERO benchmarksで新たなSOTAを達成。

2. 先行研究と比べてどこがすごい?

- 従来のexperience replayは生データ保存を前提とし、memory・data制約下で不利。 - 本手法はmultimodal latent spaceで動作し、compact表現のみを保存・再利用。 - 先行の最先端手法と比べ、LIBERO benchmarksでAUCが10-17ポイント向上、forgettingが最大65%削減。 - 各コンポーネントのablationで一貫した利得を確認。

3. 技術・手法の肝は?

- 逐次タスク学習を、visual・linguistic・robot's stateのマルチモーダル潜在表現で行う。 - それらのcompact表現を保存・再利用するmultimodal latent replay。 - incremental feature adjustment mechanismにより、task embeddingsの更新をangular margin constraintで正則化。 - これによりinter-task distinctivenessを保持し、適応を安定化。

4. どうやって有効だと検証した?

- LIBERO benchmarksで評価。 - 先行の主要手法と比較し、AUCで10-17ポイント向上、forgettingを最大65%削減。 - Ablation studiesにより各コンポーネントの有効性を確認し、代替戦略に対する一貫した利得を示す。 - コード公開: https://github.com/yfqi/lifelong_mlr_ifa

5. 議論はある?

- 要旨からは不明。 - ただし、memory・data制約下での継続的policy refinementという現実的制約を明示。 - 各コンポーネントのablationで有効性を確認しているが、限界や失敗事例の議論は要旨に記載なし。

6. 次に読むべき論文は?

- 要旨で参照・比較されている先行研究は明示されていない。 - 関連手法としてexperience replay、lifelong imitation learning、LIBERO benchmarks、multimodal latent space、angular margin constraint、task embeddingsが挙げられる。 - 同分野の定番としてcontinual learning、imitation learning、multimodal representation learningの文献を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fanqi Yu, Matteo Tiezzi, Tommaso Apicella, Cigdem Beyan, Vittorio Murino

分類: cs.CV, cs.RO

原文アブストラクト

We introduce a lifelong imitation learning framework that enables continual policy refinement across sequential tasks under realistic memory and data constraints. Our approach departs from conventional experience replay by operating entirely in a multimodal latent space, where compact representations of visual, linguistic, and robot's state information are stored and reused to support future learning. To further stabilize adaptation, we introduce an incremental feature adjustment mechanism that regularizes the evolution of task embeddings through an angular margin constraint, preserving inter-task distinctiveness. Our method establishes a new state of the art in the LIBERO benchmarks, achieving 10-17 point gains in AUC and up to 65% less forgetting compared to previous leading methods. Ablation studies confirm the effectiveness of each component, showing consistent gains over alternative strategies. The code is available at: https://github.com/yfqi/lifelong_mlr_ifa.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI