日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.33658

2の冪リーキー積分発火ニューロンによるイベント駆動型視覚-言語-行動推論

Power-of-Two Leaky Integrate-and-Fire Neurons for Event-Driven Vision-Language-Action Inference

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みVLAモデルの重み付き射影内に2の冪振幅の符号付きスパイクを発するPoT-LIFニューロンを組み込み、外部インターフェースを変えずにスパースなイベント駆動計算を実現した研究。

詳しい要約

1. どんなもの?

- Vision-language-action (VLA) モデルを対象に、spiking 計算を導入して energy-constrained なロボット展開を可能にする研究 - 提案する Power-of-Two Leaky Integrate-and-Fire (PoT-LIF) neuron は power-of-two 振幅の signed spikes を発火する - pretrained VLA ポリシーを再構築せず、closed-loop control を損なわずに event-driven 推論を実現することを目指す - $\pi_{0.5}$ の vision projection・vision-language projection・action projection に統合して評価

2. 先行研究と比べてどこがすごい?

- 生物の sparse で event-driven な signaling と temporal integration に着想を得た spiking VLA の試みに対し、pretrained policy の再構築を不要にする点が特徴 - 従来の連続値・dense 計算の VLA に対し、signed spikes と magnitude coding で連続情報を段階的に表現 - Heartbeat formulation により weighted projections 内に処理を局所化し、外部 inference interface を変えずに bridging できる - 元の continuous-activation $\pi_{0.5}$ baseline と同等以上の成功率を保ちつつ演算 energy を削減

3. 技術・手法の肝は?

- PoT-LIF neuron: power-of-two 振幅の signed spikes を発火し、magnitude-coded spike events と residual-preserving membrane dynamics を組み合わせる - 連続情報を離散 spikes の系列として漸進的に表現する仕組み - Heartbeat formulation: この spiking 過程を weighted projections 内に局所化し、pretrained VLA の外部 interface を変更せずに接続 - $\pi_{0.5}$ の vision projection・vision-language projection・action projection に PoT-LIF を統合 - Standard mode と Heartbeat mode の二つの動作モードを用意

4. どうやって有効だと検証した?

- $\pi_{0.5}$ に PoT-LIF を統合し、LIBERO の closed-loop episodes を構成ごとに 2,000 paired episodes で評価 - Standard-mode PoT-LIF VLA: $T=1$ で 96.90%、$T=2$ で 96.35% の成功率 - Heartbeat mode: $T=2$ で 97.25%、$T=4$ で 96.90% - 元の continuous-activation $\pi_{0.5}$ baseline は 96.70% - $T=1$・firing rate 60.01% のとき、dense-reference arithmetic energy の約 1/7.67(modeled reduction 86.95%)

5. 議論はある?

- 成功率は baseline と同等以上だが、energy 削減は modeled な arithmetic energy に基づく評価であり、実ハードウェアでの消費電力検証は要旨からは不明 - firing rate や $T$ と精度・energy のトレードオフが示唆されるが、詳細な議論は要旨からは不明 - closed-loop control への影響は LIBERO で評価されているが、他タスク・他ロボットへの汎化性は要旨からは不明 - pretrained VLA の外部 interface を変えない設計の一般性については要旨からは不明

6. 次に読むべき論文は?

- 元の continuous-activation $\pi_{0.5}$ baseline(比較対象) - Leaky Integrate-and-Fire (LIF) neuron に関する spiking neural network 研究 - spiking VLA / event-driven vision-language-action に関する先行研究(要旨では個別名は不明) - LIBERO benchmark を用いた robotic manipulation の VLA 研究 - VLA モデル $\pi_{0.5}$ の原論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rui Liu, He Lv, Ziyao Zhang, Rui Ma, Rongxiang Nie

分類: cs.AI

原文アブストラクト

Vision-language-action (VLA) models have demonstrated strong capabilities in robotic manipulation, yet their reliance on dense, continuous-valued computation presents a fundamental challenge for energy-constrained deployment. Inspired by the sparse, event-driven signaling and temporal integration mechanisms of biological neurons, a promising alternative is to introduce spiking computation into VLA models. However, enabling such computation without restructuring pretrained policies or compromising closed-loop control remains an open challenge. To address this challenge, we introduce the Power-of-Two Leaky Integrate-and-Fire (PoT-LIF) neuron, which emits signed spikes with power-of-two amplitudes. By combining magnitude-coded spike events with residual-preserving membrane dynamics, PoT-LIF enables continuous information to be progressively represented through discrete spikes. The Heartbeat formulation further localizes this process within weighted projections, bridging biologically inspired spiking computation and pretrained VLA architectures without modifying their external inference interfaces. We integrate PoT-LIF into the vision projection, vision-language projection, and action projection of $π_{0.5}$ and evaluate both operating modes over 2,000 paired closed-loop LIBERO episodes per configuration. Standard-mode PoT-LIF VLA achieves success rates of 96.90% and 96.35% at $T = 1$ and $T = 2$, respectively, while Heartbeat mode achieves 97.25% and 96.90% at $T = 2$ and $T = 4$, compared with 96.70% for the original continuous-activation $π_{0.5}$ baseline. At $T = 1$ with a 60.01% firing rate, PoT-LIF uses approximately 1/7.67 of the dense-reference arithmetic energy, corresponding to a modeled reduction of 86.95%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI