日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

継続学習arXiv:2506.13045

生成AIの継続学習:LLMからMLLM、その先へ

Continual Learning for Generative AI: From LLMs to MLLMs and Beyond

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルやマルチモーダルモデル、拡散モデルなど生成AIの継続学習手法を、脳の記憶機構に倣った3つのパラダイムで体系的に整理したサーベイ論文。

詳しい要約

1. どんなもの?

- 生成AIモデル全般における継続学習(continual learning)のサーベイ論文 - 対象はLLMs、MLLMs、vision-language-action models、diffusion models - catastrophic forgettingを中心課題として扱う - 人間の脳の記憶メカニズムに着想を得て手法を分類 - 各モデルの訓練目的・ベンチマーク・backboneも分析 - プロジェクトページ(GitHub)を公開

2. 先行研究と比べてどこがすごい?

- 従来の継続学習研究は主に単一モデル種別に限定されがち - 本サーベイはLLMsからMLLMs、VLA、diffusion modelsまで横断的に網羅 - 脳の記憶機構に基づく統一的な3分類(architecture/regularization/replay)を提示 - モデル種別ごとの訓練目的・benchmark・backboneの比較分析を提供 - 個別手法の寄与の詳細比較は要旨からは不明

3. 技術・手法の肝は?

- 継続学習手法を3パラダイムに体系化 - architecture-based: モデル構造の分割・拡張で忘却を抑制 - regularization-based: 重要パラメータの変化を制約 - replay-based: 過去データや生成サンプルの再提示 - 各手法の方法論と動機を整理 - 生成モデルごとの継続学習setup(訓練目的・benchmark・backbone)を分析

4. どうやって有効だと検証した?

- 本論文はサーベイであり新規手法の実験検証は要旨からは不明 - 既存研究の手法・setup・benchmarkを横断的に整理・比較した点が貢献 - 具体的な定量評価や実験結果は要旨からは不明

5. 議論はある?

- catastrophic forgettingが生成AIの実用上の制約であると指摘 - 実世界応用に向けた適応性・スケーラビリティ向上の必要性を議論 - 各モデル種別の継続学習setupの差異に関する洞察を提示 - 限界や未解決課題の詳細は要旨からは不明

6. 次に読むべき論文は?

- サーベイが参照する継続学習の基礎手法: regularization-based(EWC等)、replay-based、architecture-basedの代表研究 - LLMs向け継続学習研究 - MLLMs向け継続学習研究 - vision-language-action models向け継続学習研究 - diffusion models向け継続学習研究 - 付属GitHub(Awesome-Continual-Learning-in-Generative-Models)の収録論文リスト

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haiyang Guo, Fanhu Zeng, Fei Zhu, Jiayi Wang, Xukai Wang, Jingang Zhou, Hongbo Zhao, Wenzhuo Liu, Shijie Ma, Da-Han Wang, Xu-Yao Zhang, Cheng-Lin Liu

分類: cs.LG, cs.CV

原文アブストラクト

The rapid advancement of generative models has empowered modern AI systems to comprehend and produce highly sophisticated content, even achieving human-level performance in specific domains. However, these models are fundamentally constrained by \emph{catastrophic forgetting}, \ie~a persistent challenge where models experience performance degradation on previously learned tasks when adapting to new tasks. To address this practical limitation, numerous approaches have been proposed to enhance the adaptability and scalability of generative AI in real-world applications. In this work, we present a comprehensive survey of continual learning methods for mainstream generative AI models, encompassing large language models, multimodal large language models, vision-language-action models, and diffusion models. Drawing inspiration from the memory mechanisms of the human brain, we systematically categorize these approaches into three paradigms: architecture-based, regularization-based, and replay-based methods, while elucidating their underlying methodologies and motivations. We further analyze continual learning setups for different generative models, including training objectives, benchmarks, and core backbones, thereby providing deeper insights into the field. The project page of this paper is available at https://github.com/Ghy0501/Awesome-Continual-Learning-in-Generative-Models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI