強化学習/SNN2025/7/1arXiv:2507.09540

スパイキングニューラルネットワークとメトロポリス・ヘイスティングスサンプリングによる動的エージェントの制御学習

Learning to Control Dynamical Agents via Spiking Neural Networks and Metropolis-Hastings Sampling

勾配法を使わずメトロポリス・ヘイスティングスサンプリングでスパイキングニューラルネットワークを強化学習により訓練し、動的エージェント制御を実現するフレームワークを提案した。

詳しい要約

1. どんなもの？

- SNN を RL の dynamical agent control に用いる枠組み - 勾配法に依存せず Metropolis-Hastings (MH) sampling で SNN を訓練 - 著者らの知る限り初の MH sampling による SNN の RL 訓練フレームワーク - 対象は AcroBot と CartPole の標準制御ベンチマーク

2. 先行研究と比べてどこがすごい？

- 従来の DNN に対する SNN の利点(生物模倣・省エネルギー)を活かす - spike-based communication の非微分性により backpropagation が使いにくい問題を回避 - 勾配ベースの手法ではなく Bayesian inference の MH sampling を採用 - 結果として conventional Deep Q-Learning (DQL) baseline と prior SNN-based RL を上回ると報告 - ネットワーク資源と training episodes の削減も主張

3. 技術・手法の肝は？

- Metropolis-Hastings (MH) sampling を SNN のパラメータ更新に適用 - ネットワークパラメータ更新を反復的に propose し、累積 reward signal に基づき確率的に accept - gradient-based methods を使わずに最適化 - neuromorphic platform 上での直接最適化を可能にする設計 - 詳細な提案分布や受理率の設計は要旨からは不明

4. どうやって有効だと検証した？

- AcroBot と CartPole の 2 つの標準 control benchmark で評価 - 指標は accumulated reward の最大化、ネットワーク資源、training episodes - conventional Deep Q-Learning (DQL) baseline と prior SNN-based RL approach と比較 - MH ベース手法がこれらを上回ったと報告 - 実験条件や統計的検証の詳細は要旨からは不明

5. 議論はある？

- SNN の RL 訓練における非微分性の課題に対する勾配不要の代替を提示 - neuromorphic platform 上での直接最適化の可能性に言及 - 一方で MH sampling の計算コストやスケーラビリティ、収束性の議論は要旨からは不明 - 2 ベンチマークのみの評価であり一般化可能性は要旨からは不明

6. 次に読むべき論文は？

- 比較対象として言及された conventional Deep Q-Learning (DQL) - prior SNN-based RL approach(個別名は要旨からは不明) - 関連手法として Metropolis-Hastings sampling と Bayesian inference - SNN の RL 応用一般(Spiking Neural Networks for Reinforcement Learning) - neuromorphic platform 上の学習に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ali Safa, Farida Mohsen, Ali Al-Zawqari

分類: cs.AI, cs.RO

原文アブストラクト

Spiking Neural Networks (SNNs) offer biologically inspired, energy-efficient alternatives to traditional Deep Neural Networks (DNNs) for real-time control systems. However, their training presents several challenges, particularly for reinforcement learning (RL) tasks, due to the non-differentiable nature of spike-based communication. In this work, we introduce what is, to our knowledge, the first framework that employs Metropolis-Hastings (MH) sampling, a Bayesian inference technique, to train SNNs for dynamical agent control in RL environments without relying on gradient-based methods. Our approach iteratively proposes and probabilistically accepts network parameter updates based on accumulated reward signals, effectively circumventing the limitations of backpropagation while enabling direct optimization on neuromorphic platforms. We evaluated this framework on two standard control benchmarks: AcroBot and CartPole. The results demonstrate that our MH-based approach outperforms conventional Deep Q-Learning (DQL) baselines and prior SNN-based RL approaches in terms of maximizing the accumulated reward while minimizing network resources and training episodes.

arXivで原文を読む →arXiv概要ページ

← 論文一覧