日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

スパイキングニューラルネットワーク/強化学習arXiv:2603.15725

S2Act: シンプルなスパイキングアクター

S2Act: Simple Spiking Actor

シェア:XThreadsFacebookLINEはてブBluesky

スパイキングニューラルネットワークを用いた強化学習ポリシーを、レートベースのLIFニューロンで近似し、ReLU活性化関数に整合するようにパラメータを調整することで、複雑な確率的環境でも安定して学習・展開できる軽量なフレームワークを提案した。

詳しい要約

1. どんなもの?

- モバイルロボティクス向けの軽量なSNNベースのRLポリシーを実現するフレームワーク「S2Act」を提案。 - 3ステップで構成:actor-criticモデルの設計、互換活性化関数による勾配訓練、訓練済み重みをrate-based LIFニューロンの物理パラメータに転送。 - 多エージェント確率的環境(capture-the-flagとparking)で評価し、TurtleBotとIntel Loihiに実装。

2. 先行研究と比べてどこがすごい?

- 既存のSNNアプローチ(population coding、reward modulation、ハイブリッドANN-SNN)は複雑で高確率な環境でハイパーパラメータ感度や勾配信号の不安定さに課題。 - S2ActはLIFニューロンのパラメータをグローバルに調整し、rate-based応答をReLUに近似させることで勾配消失を緩和。 - 複雑なSNN特有のハイパーパラメータチューニングへの依存を低減。

3. 技術・手法の肝は?

- rate-basedスパイキングニューロンの近似ネットワークに基づくactor-criticモデルを設計。 - 互換活性化関数を用いて勾配訓練を実施。 - 訓練済み重みをrate-based LIFニューロンの物理パラメータに転送し、推論・展開。 - LIFニューロンのパラメータをグローバルに調整し、rate-based応答をReLUに近似させる。

4. どうやって有効だと検証した?

- 2つの多エージェント確率的環境(capture-the-flagとparking)で評価。 - 訓練済みポリシーをTurtleBotとIntel Loihiニューロモルフィックハードウェアに展開。 - ほぼ全てのシナリオでタスク性能とリアルタイム推論において関連ベースラインを上回る結果。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている既存SNNアプローチ:population coding、reward modulation、ハイブリッドANN-SNNアーキテクチャ。 - 関連手法:rate-based LIFニューロン、ReLU活性化、actor-criticモデル。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ugur Akcal, Seung Hyun Kim, Mikihisa Yuasa, Hamid Osooli, Jiarui Sun, Ribhav Sahu, Mattia Gazzola, Huy T. Tran, Girish Chowdhary

分類: cs.MA, cs.ET, cs.LG, cs.RO

原文アブストラクト

Spiking neural networks (SNNs) and biologically-inspired learning mechanisms are attractive in mobile robotics, where the size and performance of onboard neural network policies are constrained by power and computational budgets. Existing SNN approaches, such as population coding, reward modulation, and hybrid artificial neural network (ANN)-SNN architectures, have shown promising results; however, they face challenges in complex, highly stochastic environments due to SNN sensitivity to hyperparameters and inconsistent gradient signals. To address these challenges, we propose simple spiking actor (S2Act), a computationally lightweight framework that deploys an RL policy using an SNN in three steps: (1) architect an actor-critic model based on an approximated network of rate-based spiking neurons, (2) train the network with gradients using compatible activation functions, and (3) transfer the trained weights into physical parameters of rate-based leaky integrate-and-fire (LIF) neurons for inference and deployment. By globally shaping LIF neuron parameters such that their rate-based responses approximate ReLU activations, S2Act effectively mitigates the vanishing gradient problem, while pre-constraining LIF response curves reduces reliance on complex SNN-specific hyperparameter tuning. We demonstrate our method in two multi-agent stochastic environments (capture-the-flag and parking) that capture the complexity of multi-robot interactions, and deploy our trained policies on physical TurtleBot platforms using Intel's Loihi neuromorphic hardware. Our experimental results show that S2Act outperforms relevant baselines in task performance and real-time inference in nearly all considered scenarios, highlighting its potential for rapid prototyping and efficient real-world deployment of SNN-based RL policies.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI