日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

イベントベース視覚/SNNarXiv:2609.32405

オンチップ訓練に向けたスパイキングニューラルネットワークの高密度イベントベース視覚のための局所学習

Toward On-Chip Training of Spiking Neural Networks for Dense Event-Based Vision

シェア:XThreadsFacebookLINEはてブBluesky

イベントカメラ向けに、ブロックごとの局所的な密な教師信号でスパイキングニューラルネットを訓練するDELLを提案し、光流推定とセマンティックセグメンテーションでメモリ削減と精度向上を実現した。

詳しい要約

1. どんなもの?

- イベントカメラ向けのdense event-based visionを対象に、SNNをオンチップ訓練するための手法。 - DELL (Dense Event-driven Local Learning) というblock wiseなlocal learning schemeを提案。 - 全スパイキングU字型アーキテクチャでoptical-flow regressionとsemantic segmentationを評価。 - BPTTのメモリ問題を回避しつつdense predictionを可能にする。

2. 先行研究と比べてどこがすごい?

- 既存のlocal learningは主にclassificationを対象とし、dense predictionには不向きだった。 - DECOLLEは固定ランダムなlocal read-outを使い、dense regressionでendpoint errorが3.9倍高い。 - DELLはlearnableなlocal headによりこの損失を回復し、全optical-flow指標でend-to-end訓練を上回る。 - 訓練ピークメモリをend-to-end BPTT比39.6%削減しつつ精度向上。 - パラメータ数2.3Mで最強SNNベースラインより24倍少なく、DSECで競争力あり。

3. 技術・手法の肝は?

- グローバル勾配伝播を局所的なdense supervisionに置き換えるblock wise scheme。 - 各ブロックを適切な解像度で監督するlearnableで空間構造を持つlocal headを導入。 - ブロック内の時間ダイナミクスを保持。 - ブロックdetachmentが正則化のように働く。

4. どうやって有効だと検証した?

- DSEC optical flowで評価。DELLは1.670 px endpoint error(公式テストベンチマーク)で、end-to-endの1.941 pxより改善。 - 訓練ピークメモリを39.6%削減。 - semantic segmentationでも性能ギャップの大部分を回復(ただしend-to-endより数mIoUポイント低い)。 - 2.3MパラメータでDSEC上のSNN state of the artと競争力があることを確認。

5. 議論はある?

- ブロックdetachmentは制約ではなく正則化として振る舞う。 - segmentationではend-to-endに数mIoUポイント及ばない。 - オンチップ訓練への拡張可能性が示唆されるが、詳細は要旨からは不明。

6. 次に読むべき論文は?

- DECOLLE(既存のlocal-learningベースライン) - BPTT(backpropagation through time) - DSEC(optical flowベンチマーク) - SNN state of the art(DSEC上の比較対象)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Maxime Vaillant, Axel Carlier, Lai Xing Ng, Christophe Hurter, Benoit R. Cottereau

分類: cs.CV

原文アブストラクト

Event cameras provide low-latency, asynchronous visual sensing for resource-constrained robotics. Spiking neural networks (SNNs) process event streams naturally, but training deep SNNs with backpropagation through time (BPTT) requires substantial memory and remains difficult on neuromorphic hardware. Local learning avoids this by restricting error propagation to local blocks, but existing methods mainly target classification rather than dense prediction. We introduce DELL (Dense Event-driven Local Learning), a block wise scheme for dense event-based vision that replaces global gradient propagation with local dense supervision. Learnable, spatially structured local heads supervise each block at its appropriate resolution while preserving temporal dynamics within blocks. We evaluate DELL on optical-flow regression and semantic segmentation with a fully spiking U-shaped architecture. On DSEC optical flow, DELL reduces peak training memory by 39.6% relative to end-to-end BPTT while improving accuracy, reaching 1.670 px endpoint error on the official test benchmark versus 1.941 px for the same backbone trained end-to-end. Block detachment behaves more like a regularizer than a constraint. DECOLLE, the existing local-learning baseline, relies on fixed random local read-outs poorly suited to dense regression, resulting in a 3.9x higher endpoint error; learnable local heads recover this loss and outperform end-to-end training across all optical-flow metrics. On segmentation, they recover most of the performance gap, although DELL remains a few mIoU points behind end-to-end training. With 2.3M parameters, 24x fewer than the strongest SNN baseline, the backbone remains competitive with the SNN state of the art on DSEC. These results extend local learning to dense event-based prediction while substantially reducing training memory.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI