日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ニューロモルフィック制御arXiv:2601.21548

超高速ロボットを制御する低速スパイキングニューロンのスパイキング強化学習による訓練

Training slow silicon neurons to control extremely fast robots with spiking reinforcement learning

シェア:XThreadsFacebookLINEはてブBluesky

混合信号ニューロモルフィックプロセッサ上でスパイキングニューロンを用い、強化学習によりエアホッケーの高速パック操作を少ない試行で実現した。

詳しい要約

1. どんなもの?

エアホッケーという高速なパックの動きに対し、混合信号アナログ/デジタルneuromorphic processor上で動作するコンパクトなspiking neural network (SNN) を構築し、強化学習で制御を学習させる研究。ハードウェアと学習アルゴリズムをco-designし、少数試行でパックとの相互作用を成功させる。リアルタイム学習をコンピュータとneuromorphic chipのin-the-loop構成で実現し、ロボティクス自律システムへの応用可能性を示す。

2. 先行研究と比べてどこがすごい?

従来のSNN学習はシミュレーション上で多数の試行を要することが多いが、本研究は混合信号neuromorphic processor上で少数試行の強化学習を実現。固定ランダム結合で時間構造を捉え、readout層にlocal e-prop学習則を採用することで、イベント駆動型活動を活用した高速・効率的学習を可能にした点が優れている。また、実世界の高速インタラクションタスクに脳 inspired ハードウェアを適用した点が新しい。

3. 技術・手法の肝は?

混合信号アナログ/デジタルneuromorphic processor上にコンパクトなSNNを実装。ネットワークは固定ランダム結合を持ち、タスクの時間構造を捕捉。readout層にはlocal e-prop学習則を適用し、イベント駆動型活動を利用して効率的に学習。ハードウェアと学習アルゴリズムをco-designし、コンピュータとneuromorphic chipをin-the-loopで接続してリアルタイム学習を実現。

4. どうやって有効だと検証した?

エアホッケーのタスクにおいて、パックとの相互作用を成功させることで有効性を検証。強化学習を少数試行で行い、リアルタイム学習が可能であることを示した。具体的な成功 rate や試行回数の詳細は要旨からは不明。

5. 議論はある?

本研究は脳 inspired ハードウェアと実世界ロボティクス制御の橋渡しをし、高速インタラクションタスクに取り組めることを示す。また、常時学習 (always-on learning) をサポートする可能性を議論。ただし、限界や課題については要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。関連手法として、spiking neural networks (SNN)、neuromorphic processor、e-prop、強化学習、エアホッケーのロボティクス制御などが挙げられる。同分野の定番として、LoihiやSpiNNakerなどのneuromorphic hardware、およびSNN向けの強化学習アルゴリズム (例: reward-modulated STDP) が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Irene Ambrosini, Ingo Blakowski, Dmitrii Zendrikov, Cristiano Capone, Luna Gava, Giacomo Indiveri, Chiara De Luca, Chiara Bartolozzi

分類: cs.RO, cs.AI, cs.ET

原文アブストラクト

Air hockey demands split-second decisions at high puck velocities, a challenge we address with a compact network of spiking neurons running on a mixed-signal analog/digital neuromorphic processor. By co-designing hardware and learning algorithms, we train the system to achieve successful puck interactions through reinforcement learning in a remarkably small number of trials. The network leverages fixed random connectivity to capture the task's temporal structure and adopts a local e-prop learning rule in the readout layer to exploit event-driven activity for fast and efficient learning. The result is real-time learning with a setup comprising a computer and the neuromorphic chip in-the-loop, enabling practical training of spiking neural networks for robotic autonomous systems. This work bridges neuroscience-inspired hardware with real-world robotic control, showing that brain-inspired approaches can tackle fast-paced interaction tasks while supporting always-on learning in intelligent machines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI