日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

継続学習arXiv:2606.17889

次元が継続学習におけるモジュール性の有用性を左右する

Dimensionality Controls When Modularity Helps in Continual Learning

シェア:XThreadsFacebookLINEはてブBluesky

モジュール型アーキテクチャが継続学習で有利になる条件を、表現の次元性(高次元の「怠惰」領域か低次元の「豊か」領域か)に着目して解析した論文。

詳しい要約

1. どんなもの?

- 逐次的な A-B-A パラダイムにおける compositional continual learning を対象に、modular architecture、task similarity、representational dimensionality が学習に与える影響を調べた研究。 - task-partitioned recurrent network と single-network baseline を比較。 - weight-scale 操作により high-dimensional な "lazy" regime と low-dimensional な "rich" regime を誘導。 - 高次元では両者同等、低次元では modularity が決定的になることを示す。

2. 先行研究と比べてどこがすごい?

- 従来は modularity の有効性が固定的に議論されがちだったが、本研究は representational regime に依存することを示す。 - high-dimensional "lazy" regime では modular structure の影響が小さいことを明示。 - low-dimensional "rich" regime では modular network が graded task-specific subspaces を形成し、single network より compositional で interpretable な組織化を達成。 - 安全性・頑健性を固定分離か共有かではなく、representational subspaces の適応的配分問題として捉える視点を提示。

3. 技術・手法の肝は?

- sequential A-B-A paradigm で compositional continual learning を評価。 - task-partitioned recurrent network と single-network baseline を比較。 - weight-scale manipulations により high-dimensional "lazy" regime と low-dimensional "rich" regime を誘導。 - 内部幾何と subspace 構造を分析し、task similarity に応じた overlap/alignment/separation を評価。

4. どうやって有効だと検証した?

- high-dimensional "lazy" regime では両アーキテクチャが同様の性能と内部幾何を示すことを確認。 - low-dimensional "rich" regime では modular network が類似タスクで overlap、中程度で partial alignment、非類似で separation する graded task-specific subspaces を発達させることを確認。 - これにより single network より compositional で interpretable な組織化が得られることを示した。

5. 議論はある?

- representational regime が modularity の有効性を左右する鍵因子であると結論。 - 安全性・頑健性を固定分離か共有かではなく、representational subspaces の適応的配分問題として見ることを支持。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として modular neural networks、continual learning、compositional learning、recurrent networks の定番文献を読むとよい。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kathrin Korte, Christian Medeiros Adriano, Joachim Winther Pedersen, Eleni Nisioti, Sebastian Risi

分類: cs.LG, cs.AI, cs.NE

原文アブストラクト

Compositional learning systems must balance plasticity, the ability to acquire new knowledge, with stability, the preservation of previously learned components, especially when tasks share structure and risk interference. We study how modular architecture, task similarity, and representational dimensionality jointly shape compositional continual learning in a sequential A-B-A paradigm, comparing a task-partitioned recurrent network to a single-network baseline while inducing high- and low-dimensional regimes via weight-scale manipulations. In a high-dimensional "lazy" regime, both architectures achieve similar performance and internal geometry, suggesting that explicit modular structure has little impact when representations are weakly constrained. In a lower-dimensional "rich" regime, modularity becomes decisive: the modular network develops graded task-specific subspaces that overlap for similar tasks, partially align for moderately dissimilar tasks, and separate for dissimilar tasks, yielding a more compositional and interpretable organization than the single network. These findings identify the representational regime induced by initialization scale, which co-varies with representational dimensionality, as a key factor governing when compositional, modular structure is functionally beneficial in continual learning, and support viewing safety and robustness as problems of adaptive allocation of representational subspaces rather than fixed separation versus sharing.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI