日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

スパイクニューラルネットワークarXiv:2606.15898

VL2Spike: スパイク駆動蒸留によるVLMから低消費電力ロボット視覚認識への橋渡し

VL2Spike: Spike-driven Distillation from VLMs for Low-Power Visual Perception in Embodied AI

シェア:XThreadsFacebookLINEはてブBluesky

スパイクニューラルネットワーク(SNN)の性能向上のため、視覚言語モデル(VLM)の知識をスパイク変換器モデルに蒸留するフレームワークVL2Spikeを提案した。

詳しい要約

1. どんなもの?

- スパイキングニューラルネットワーク(SNN)の一種であるSpikformerを、視覚言語モデル(VLM)からの知識蒸留で強化するフレームワーク「VL2Spike」を提案。 - 目的は、リソース制約のあるembodied AI向けの低消費電力な視覚知覚を実現すること。 - スパイク駆動の知識蒸留(KD)により、VLMのマルチモーダル知識をコンパクトなSpikformerに橋渡しする。 - エネルギー効率を維持しつつ学習能力を向上させ、実用的なロボット知覚への道を開く。

2. 先行研究と比べてどこがすごい?

- 従来のSpikformerはスパイクベースのアーキテクチャと最適化の難しさから性能が限界だった。 - 標準的な勾配降下法が直接適用できない問題があった。 - VL2SpikeはVLMの豊富なマルチモーダル知識表現を活用し、Spikformerの学習能力を高める点が新しい。 - エネルギー効率を損なわずに性能を向上させる点が先行研究と異なる。

3. 技術・手法の肝は?

- 時空間視覚スパイク(SVS)蒸留を提案:VLM画像特徴とスパイクトークンの共有多様体アラインメント、および膜電位とスパイク率のウォームスタート時間的一貫性を実現。 - スパイクプロトタイプ誘導言語(SPL)蒸留戦略を設計:Spikformerのクラスプロトタイプとロジットを、プロンプト可能なVLMテキスト埋め込みに整合させる。 - これら二つの技術により、スパイクダイナミクスに沿った知識蒸留を実現。

4. どうやって有効だと検証した?

- 3つの静的データセットで6.81%の性能向上を達成し、エネルギー消費はわずか15.7%。 - ロボット視覚位置認識(VPR)タスクで6.63%の向上を示し、強い汎化能力を確認。 - これらの実験により、embodied AIにおける低消費電力知覚の可能性を実証。

5. 議論はある?

- 要旨からは、手法の限界や議論の詳細は不明。 - エネルギー効率と性能のトレードオフや、他のタスクへの適用可能性については言及されていない。 - 今後の課題や改善点についての議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている研究:Spikformer、Vision-Language Models (VLMs)、Spiking-Transformer、知識蒸留(KD)。 - 関連手法:spike self-attention、spatial-temporal visual spike distillation、spike prototype-guided linguistic distillation。 - 同分野の定番:Spiking Neural Networks (SNNs)、embodied AI、visual place recognition (VPR)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zinan Liu, Eric Zheng, Soumyaratna Debnath, Hao Shi, Ling Xiao, Lin Wang

分類: cs.RO

原文アブストラクト

Spiking neural networks (SNNs) are brain-inspired, event-driven models that compute with sparse spikes, which enables highly efficient visual perception in resource-constrained embodied AI models. The emergence of Spiking-Transformer models with spike self-attention has substantially improved the learning capacity of pure SNNs. Although SNNs are energy efficient, their performance is still limited by the spike-based architecture and optimization challenges, as standard gradient descent rules cannot be directly applied. Recently, vision-language models (VLMs) have shown rich multi-modal knowledge representation capabilities for visual perception. Thus, it is promising to leverage VLMs for better Spikformer training. To this end, we present VL2Spike, a novel spike-based knowledge distillation (KD) framework that bridges multi-modal knowledge from VLMs with compact Spikformer models. This design enhances the learning capacity of Spikformer models while preserving their energy-efficiency merits, thereby offering a practical pathway toward low-power robotic perception. Our VL2Spike brings two key technical contributions. To align with spiking dynamics, we first propose spatial-temporal visual spike (SVS) distillation, which achieves (1) shared manifold alignment between VLM image features and spike tokens, and (2) warm-started temporal consistency on membrane potentials and spike rates. We then design a novel spike prototype-guided linguistic (SPL) distillation strategy that aligns Spikformer's class prototypes and logits with promptable VLM text embeddings. Extensive experiments show that VL2Spike achieves 6.81% gain across three static datasets with only 15.7% energy consumption. It also exhibits strong generalization capacity on robotic visual place recognition (VPR) with a gain of 6.63%, highlighting its potential for low-power perception in embodied AI.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI