日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/ニューロモルフィックarXiv:2510.24461

スパイキングニューラルネットワークの逐次強化学習のための適応的サロゲート勾配

Adaptive Surrogate Gradients for Sequential Reinforcement Learning in Spiking Neural Networks

シェア:XThreadsFacebookLINEはてブBluesky

スパイキングニューラルネットワークの強化学習において、サロゲート勾配の傾きを適応的に調整し、特権ガイドポリシーで学習をブートストラップする手法を提案。実世界のドローン位置制御で性能を2.1倍改善した。

詳しい要約

1. どんなもの?

- Spiking Neural Networks (SNNs) を強化学習 (RL) で実ロボット制御に適用する研究。 - 対象タスクは real-world drone position control。 - 課題は (1) spiking neuron の非微分性に起因する surrogate gradient の最適化特性が不明、(2) SNN の stateful dynamics により系列学習が必要で、RL では初期の sequence length 制限が warm-up period の橋渡しを妨げること。 - これらに対し surrogate gradient の slope 設定の系統的分析と、privileged guiding policy を用いた新規学習手法を提案。

2. 先行研究と比べてどこがすごい?

- surrogate gradient の slope 設定を体系的に分析し、深い層での gradient magnitude と真の gradient との alignment のトレードオフを示した。 - supervised learning では固定 slope と scheduled slope に明確な優劣がない一方、RL では shallower slope や scheduled slope が training と final deployed performance を 2.1x 改善。 - 提案手法を adaptive slope schedule と組み合わせ、real-world drone position control で平均 return 400 points を達成。Behavioral Cloning や TD3BC は同条件で最大 --200 points にとどまり大幅に上回る。

3. 技術・手法の肝は?

- surrogate gradient の slope 設定を系統的に分析し、shallower slope が深い層の gradient magnitude を増やすが真の gradient との alignment を下げることを示す。 - RL 向けに adaptive slope schedule を導入。 - privileged guiding policy で学習を bootstrap しつつ、spiking policy による online environment interactions も活用する新規 training approach を提案。 - 詳細なアルゴリズム構成は要旨からは不明。

4. どうやって有効だと検証した?

- surrogate gradient slope の分析を supervised learning と RL 設定で実施。 - RL では shallower slope や scheduled slope により training と final deployed performance が 2.1x 改善することを確認。 - real-world drone position control タスクで、提案手法と adaptive slope schedule の組み合わせが平均 return 400 points を達成。 - Behavioral Cloning および TD3BC との比較で優位性を示す。

5. 議論はある?

- surrogate gradient の slope 設定が supervised learning と RL で異なる影響を持つ点を議論。 - SNN の stateful dynamics と RL における sequence length 制限の課題を指摘。 - privileged guiding policy の利用に関する詳細な議論や限界は要旨からは不明。

6. 次に読むべき論文は?

- Behavioral Cloning - TD3BC - surrogate gradient を用いた SNN の supervised learning 研究 - spiking neuron の surrogate gradient 最適化に関する理論研究 - neuromorphic controller の実ロボット応用研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Korneel Van den Berghe, Stein Stroobants, Vijay Janapa Reddi, G. C. H. E. de Croon

分類: cs.AI, cs.RO

原文アブストラクト

Neuromorphic computing systems are set to revolutionize energy-constrained robotics by achieving orders-of-magnitude efficiency gains, while enabling native temporal processing. Spiking Neural Networks (SNNs) represent a promising algorithmic approach for these systems, yet their application to complex control tasks faces two critical challenges: (1) the non-differentiable nature of spiking neurons necessitates surrogate gradients with unclear optimization properties, and (2) the stateful dynamics of SNNs require training on sequences, which in reinforcement learning (RL) is hindered by limited sequence lengths during early training, preventing the network from bridging its warm-up period. We address these challenges by systematically analyzing surrogate gradient slope settings, showing that shallower slopes increase gradient magnitude in deeper layers but reduce alignment with true gradients. In supervised learning, we find no clear preference for fixed or scheduled slopes. The effect is much more pronounced in RL settings, where shallower slopes or scheduled slopes lead to a 2.1x improvement in both training and final deployed performance. Next, we propose a novel training approach that leverages a privileged guiding policy to bootstrap the learning process, while still exploiting online environment interactions with the spiking policy. Combining our method with an adaptive slope schedule for a real-world drone position control task, we achieve an average return of 400 points, substantially outperforming prior techniques, including Behavioral Cloning and TD3BC, which achieve at most --200 points under the same conditions. This work advances both the theoretical understanding of surrogate gradient learning in SNNs and practical training methodologies for neuromorphic controllers demonstrated in real-world robotic systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI