ニューロモーフィック/強化学習2025/12/1arXiv:2512.03911

Intel Loihi 2ニューロモーフィックハードウェアによる自律強化学習ロボット制御

Autonomous Reinforcement Learning Robot Control with Intel's Loihi 2 Neuromorphic Hardware

シミュレーションで訓練した強化学習方策をスパイキングニューラルネットワークに変換し、Intel Loihi 2上でAstrobeeロボットの制御を実現した。

詳しい要約

1. どんなもの？

- 強化学習（RL）で訓練した人工ニューラルネットワーク（ANN）を、スパイキングSigma-Delta Neural Networks（SDNN）に変換し、IntelのLoihi 2ニューロモルフィックハードウェア上で動作させるエンドツーエンドのパイプラインを提案。 - テストケースとして、Astrobee自由飛行ロボットの制御ポリシー（ReLUで訓練）をSDNNに変換し、Loihi 2に展開。 - NVIDIA Omniverse Isaac Labシミュレーション環境で閉ループ制御を評価し、GPUとLoihi 2の実行性能を比較。 - ニューロモルフィックプラットフォームのロボット制御への適用可能性を示し、宇宙・地上ロボティクスにおけるエネルギー効率の良いリアルタイム計算への道筋を提示。

2. 先行研究と比べてどこがすごい？

- 先行研究では、宇宙でハードウェア検証済みのAstrobee制御器と類似のRLポリシーが存在するが、それをニューロモルフィックハードウェアに変換・展開した点が新しい。 - シミュレーションで訓練したANNポリシーをSDNNに変換し、Loihi 2で低レイテンシかつエネルギー効率の良い推論を実現できることを示した。 - GPUとの実行性能比較を行い、ニューロモルフィックハードウェアのロボット制御への実用性を検証した点が先行研究と異なる。

3. 技術・手法の肝は？

- RLで訓練したANN（ReLU使用）をSDNNに変換する手法が肝。 - SDNNはスパイキングニューラルネットワークの一種で、Sigma-Delta変調を用いて連続値をスパイク列に変換し、Loihi 2アーキテクチャと互換性を持つ。 - 変換後、Loihi 2上に展開し、NVIDIA Omniverse Isaac Labシミュレーション内でAstrobeeの閉ループ制御を実行。 - GPUとLoihi 2の実行性能（レイテンシ、エネルギー効率など）を比較評価。

4. どうやって有効だと検証した？

- NVIDIA Omniverse Isaac Labシミュレーション環境で、Astrobeeの運動の閉ループ制御を実行し、ポリシーの有効性を検証。 - Loihi 2とGPUの実行性能を比較し、ニューロモルフィックハードウェアの低レイテンシ・エネルギー効率を評価。 - シミュレーションで訓練したポリシーがSDNN変換後も制御タスクを遂行できることを確認。

5. 議論はある？

- ニューロモルフィックプラットフォームをロボット制御に用いることの実現可能性を示したが、実機での検証は今後の課題。 - エネルギー効率やリアルタイム性の利点が示唆されるが、具体的な数値比較の詳細は要旨からは不明。 - 宇宙および地上ロボティクスへの応用に向けた課題（例えば、変換精度、スパイクノイズ、スケーラビリティなど）については要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照されている「宇宙でハードウェア検証済みのAstrobee制御器」に関する論文。 - Sigma-Delta Neural Networks（SDNN）の原論文やLoihi 2のアーキテクチャ論文。 - ニューロモルフィックハードウェア上でのRLポリシー展開に関する関連研究（例：Loihi上のスパイキングニューラルネットワークによるロボット制御）。 - NVIDIA Omniverse Isaac Labを用いたロボットシミュレーションの論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kenneth Stewart, Roxana Leontie, Samantha Chapin, Joe Hays, Sumit Bam Shrestha, Carl Glen Henshaw

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

We present an end-to-end pipeline for deploying reinforcement learning (RL) trained Artificial Neural Networks (ANNs) on neuromorphic hardware by converting them into spiking Sigma-Delta Neural Networks (SDNNs). We demonstrate that an ANN policy trained entirely in simulation can be transformed into an SDNN compatible with Intel's Loihi 2 architecture, enabling low-latency and energy-efficient inference. As a test case, we use an RL policy for controlling the Astrobee free-flying robot, similar to a previously hardware in space-validated controller. The policy, trained with Rectified Linear Units (ReLUs), is converted to an SDNN and deployed on Intel's Loihi 2, then evaluated in NVIDIA's Omniverse Isaac Lab simulation environment for closed-loop control of Astrobee's motion. We compare execution performance between GPU and Loihi 2. The results highlight the feasibility of using neuromorphic platforms for robotic control and establish a pathway toward energy-efficient, real-time neuromorphic computation in future space and terrestrial robotics applications.

arXivで原文を読む →arXiv概要ページ

← 論文一覧