日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/スパイクニューラルネットワークarXiv:2610.11583

SDPAD: 完全スパイク駆動型エンドツーエンド自動運転パイプライン

SDPAD: A Fully Spike-Driven Pipeline for End-to-End Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

スパイクニューラルネットワークを用いて、ANNに匹敵する精度を保ちつつ消費エネルギーを2%以下に抑えたエンドツーエンド自動運転プランナーを提案。

詳しい要約

1. どんなもの?

- 完全にspike駆動のend-to-end自動運転計画パイプラインSDPADを提案。 - 事前学習済みANN知覚スタックをquantized ANN2SNN変換でinteger-spike化。 - multi-view画像をBEV空間へ持ち上げ、Spike-QFormerで計画。 - 推論は単一feed-forwardパスで時間シミュレーションループ不要。 - nuScenesとNAVSIMで評価。

2. 先行研究と比べてどこがすごい?

- ANN plannerは高精度だがdense計算が重い。 - SNNは省エネだが計画精度が大きく劣る。 - SDPADはANN並み精度をSNNで達成。 - nuScenesで平均L2誤差0.40m、衝突率0.12%。 - 消費エネルギー69.9mJで最近のANNベースラインの2%未満。 - NAVSIMで86.3 PDMS、先行SNNのSADを4.3点上回る。 - 初の完全spike駆動plannerのend-to-end評価。

3. 技術・手法の肝は?

- quantized ANN2SNN変換で知覚スタックをinteger-spike化。 - Spike-3D-Liftでmulti-view画像をBEVへ。spike-driven-max (SDM) 深度分布を使用。 - Spike-QFormer: spiking query transformer。 - BEV sceneから蒸留したego, agent, map queriesをlearnable waypoint queriesがcross-attentionで融合。 - deformable spike-cross-attentionでrefinement。 - 全演算をinteger spikesでゲート、単一feed-forward推論。

4. どうやって有効だと検証した?

- nuScenes open-loop benchmarkで評価。 - 平均L2誤差0.40m、衝突率0.12%を達成。 - 消費エネルギー69.9mJを報告。 - NAVSIM navtest splitのclosed-loop評価で86.3 PDMS。 - 先行SNN planner SADを4.3点上回る。 - 主流ANN plannerと同等でエネルギーは僅か。

5. 議論はある?

- SNNが複雑な運転タスクでdense ANNに匹敵し得ることを示す。 - 完全spike駆動plannerのend-to-end自動運転評価は初。 - 精度と省エネの両立を主張。 - 限界や失敗事例、一般化性、リアルタイム性の議論は要旨からは不明。

6. 次に読むべき論文は?

- 先行SNN planner: SAD。 - ANN plannerベースライン(具体名は要旨からは不明)。 - quantized ANN2SNN変換、Spike-3D-Lift、Spike-QFormer、deformable spike-cross-attention。 - データセット: nuScenes, NAVSIM。 - 同分野の定番: BEVFormer, UniAD, VAD, SparseDriveなど。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chengjun Zhang, Yuhao Zhang, Jie Yang, Mohamad Sawan

分類: cs.RO, cs.AI

原文アブストラクト

End-to-end autonomous driving demands trajectory planners that are both highly accurate and cheap enough for edge deployment. State-of-the-art artificial neural network (ANN) planners meet the accuracy requirement at the cost of heavy dense computation, while spiking neural networks (SNNs)---though promising orders-of-magnitude energy savings through sparse, event-driven arithmetic---still lag far behind in planning accuracy. We present \textbf{SDPAD}, a fully spike-driven end-to-end planning pipeline that closes this gap. SDPAD converts a pre-trained ANN perception stack into integer-spike form via quantized ANN2SNN conversion, lifts multi-view images into the bird's-eye-view (BEV) space with a spike-driven-max (SDM) depth distribution (Spike-3D-Lift), and plans through the Spike-QFormer, a spiking query transformer in which ego, agent, and map queries distilled from the BEV scene are fused by learnable waypoint queries via cross-attention, followed by deformable spike-cross-attention refinement. Every operation is gated by integer spikes and inference is a single feed-forward pass without temporal simulation loops. On the nuScenes open-loop benchmark, SDPAD achieves an average $L_2$ error of 0.40\,m and a collision rate of 0.12\%, on par with strong ANN planners while consuming 69.9\,mJ---less than 2\% of recent ANN baselines. In closed-loop evaluation on the NAVSIM navtest split, SDPAD reaches 86.3 PDMS, surpassing the previous SNN planner SAD by 4.3 points and matching mainstream ANN planners at a fraction of their energy. To our knowledge, SDPAD is the first fully spike-driven planner evaluated in end-to-end autonomous driving, demonstrating that SNNs can rival dense ANNs in complex driving tasks.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI