日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ニューラルネットワーク正則化arXiv:2512.13707

ポアソンノイズ由来の正則化がニューラルネットワークにモジュール的結合を生み出し、頑健性と構成的汎化を促進する

Modular connectivity in neural networks emerges from Poisson noise-motivated regularisation, and promotes robustness and compositional generalisation

シェア:XThreadsFacebookLINEはてブBluesky

神経活動のポアソン的ノイズを模した正則化により、ニューラルネットワークがモジュール構造を獲得し、ノイズ頑健性や構成的汎化が向上することを示した研究。

詳しい要約

1. どんなもの?

- 脳のモジュール回路を模倣し、ANNにモジュール構造を出現させる研究。 - Poisson noiseと非線形応答がモジュール解を駆動し、決定論的regulariserで再現。 - モジュール化ANNはノイズ頑健性と組成的一般化・外挿に優れる。

2. 先行研究と比べてどこがすごい?

- 従来のANNはモジュール解が見つけにくく、処理が混合。 - 線形ネットワークや標準regularisationでは捉えられない現象を提示。 - モジュール構造の出現には十分な訓練サンプル(モジュール次元数に指数)が必要。

3. 技術・手法の肝は?

- 活動依存の神経ノイズ(Poisson様)と非線形応答を組み合わせ。 - 決定論的regulariserが重みと活性を乗算的に結合。 - これによりモジュール化が再現され、豊かな現象が現れる。

4. どうやって有効だと検証した?

- ノイズ駆動モジュール化を決定論的regulariserで再現。 - 事前モジュール化ANNがノイズ頑健性、一般化、外挿で優れることを比較検証。 - 訓練サンプル数が指数関数的に必要であることを示す。

5. 議論はある?

- モジュール構造の出現には十分な訓練サンプルが必要(指数関数的)。 - 事前モジュール化ANNはノイズ頑健性と組成的一般化・外挿に優れる。 - モジュール性を促すregulariserとアーキテクチャの機能的利点を議論。

6. 次に読むべき論文は?

- 要旨からは不明(参照/比較研究が明示されていない)。 - 同分野の定番:modular neural networks, catastrophic forgetting, compositional generalization, fault-tolerant computation。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Daoyuan Qian, Qiyao Liang, Ila Fiete

分類: physics.bio-ph, cs.LG, cs.NE, stat.ML

原文アブストラクト

Circuits in the brain commonly exhibit modular architectures that factorise complex tasks, resulting in the ability to compositionally generalise and reduce catastrophic forgetting. In contrast, artificial neural networks (ANNs) appear to mix all processing, because modular solutions are difficult to find as they are vanishing subspaces in the space of possible solutions. Here, we draw inspiration from fault-tolerant computation and the Poisson-like firing of real neurons to show that activity-dependent neural noise, combined with nonlinear neural responses, drives the emergence of solutions that reflect an accurate understanding of modular tasks, corresponding to acquisition of a correct world model. We find that noise-driven modularisation can be recapitulated by a deterministic regulariser that multiplicatively combines weights and activations, revealing rich phenomenology not captured in linear networks or by standard regularisation methods. Though the emergence of modular structure requires sufficiently many training samples (exponential in the number of modular task dimensions), we show that pre-modularised ANNs exhibit superior noise-robustness and the ability to generalise and extrapolate well beyond training data, compared to ANNs without such inductive biases. Together, our work demonstrates a regulariser and architectures that could encourage modularity emergence to yield functional benefits.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI