日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

推論システムarXiv:2606.03026

スパイク言語モデルのためのスパース対応C++ INT8推論:汎用CPU上での実装と評価

Spike-Aware C++ INT8 Inference for Sparse Spiking Language Models on Commodity CPUs

シェア:XThreadsFacebookLINEはてブBluesky

スパイク言語モデルの活性化スパース性を活用するC++ CPU推論ランタイムを実装し、INT8量子化とAVX2カーネルにより、汎用CPU上で既存の量子化モデルより高速なデコードを達成した。

詳しい要約

1. どんなもの?

- スパイキング言語モデル(SNN)の活性スパース性を実行プリミティブとして扱うC++ CPU推論ランタイムの研究。 - SymbolicLight V1のspike-gated言語モデルを基盤に、INT8量子化とAVX2/FMAカーネルを実装。 - 単一スレッドCPUで22.63 tokens/sを達成し、TinyLlama-1.1B Q8_0等のdenseベースラインを上回る。 - ただしWikiText-2 perplexityは24.80でdenseベースラインより悪い。 - 組込み・エッジエージェント向けの推論システム研究として位置づけ。

2. 先行研究と比べてどこがすごい?

- 従来のdense Transformerランタイムは活性スパース性を直接活用しない。 - 既存研究は事後的な重み圧縮が中心だが、本研究はspike状態を実行プリミティブとして扱う。 - 同一step-30kエクスポートで、scalar FP32 9.5 tokens/sからAVX2 INT8 19.9 tokens/sへ向上。 - 重みフットプリントを3.49 GBから1.06 GBに削減。 - 874MパラメータINT8エクスポートで22.63 tokens/sを達成し、llama.cpp上のTinyLlama-1.1B Q8_0(16.31 tokens/s)等を上回る。

3. 技術・手法の肝は?

- manifest-driven weight loaderを採用。 - 行/列混合メモリレイアウト(mixed row/column memory layout)を実装。 - AVX2/FMAカーネルを活用。 - per-channel symmetric INT8量子化を適用。 - spike-conditioned sparse paths向けにinteger-domain accumulationを実行。 - これらを組み合わせ、spike-awareな実行を実現。

4. どうやって有効だと検証した?

- AMD Ryzen 7 5800X上で単一スレッドCPUベンチマークを実施。 - step-30kエクスポートでscalar FP32 9.5 tokens/s、mixed-layout AVX2 FP32 14.7 tokens/s、AVX2 INT8 19.9 tokens/sを計測。 - 186k-step 874MパラメータINT8エクスポートで22.63 tokens/sを達成。 - 比較対象としてTinyLlama-1.1B Q8_0(16.31 tokens/s)、Falcon3-1B Q8_0(11.26 tokens/s)、Qwen2.5-1.5B Q8_0(9.70 tokens/s)をllama.cppで評価。 - スレッドスケーリングで4スレッド時47.90 tokens/s、512-token prefillが1→8スレッドで29.86→94.68 tokens/sに向上。 - 品質評価としてWikiText-2 perplexity 24.80を報告。

5. 議論はある?

- スループット向上と引き換えに品質コストが存在:SNNのWikiText-2 perplexity 24.80はdenseベースラインより悪い。 - モデル品質、制御されたdense訓練ベースライン、embodiedタスク評価、CPUエネルギー測定は未解決課題として残る。 - 長期的動機として、センサ・アクチュエータ近傍でのローカル低コア推論が可能なembodied/edgeエージェントへの応用を挙げる。 - spike-aware実行がCPUスループットとメモリ挙動を改善し得ることを示すが、品質面の検証は不十分。

6. 次に読むべき論文は?

- SymbolicLight V1(基盤モデル) - TinyLlama-1.1B Q8_0(比較ベースライン) - Falcon3-1B Q8_0(比較ベースライン) - Qwen2.5-1.5B Q8_0(比較ベースライン) - llama.cpp(推論フレームワーク) - スパイキングニューラルネットワーク(SNN)の言語モデルに関する関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ting Liu

分類: cs.NE, cs.AI, cs.LG

原文アブストラクト

Spiking language models expose activation sparsity that dense Transformer runtimes do not directly exploit. This paper studies that property from a systems perspective. Building on the SymbolicLight V1 spike-gated language model family, we implement a C++ CPU inference runtime that treats sparse binary spike states as an execution primitive rather than only applying post-hoc weight compression. The runtime combines a manifest-driven weight loader, mixed row/column memory layout, AVX2/FMA kernels, per-channel symmetric INT8 quantization, and integer-domain accumulation for spike-conditioned sparse paths. On an AMD Ryzen 7 5800X, an early scalar FP32 baseline decodes at 9.5 tokens/s. Mixed-layout AVX2 FP32 raises this to 14.7 tokens/s, and AVX2 INT8 reaches 19.9 tokens/s on the same step-30k export while reducing the weight footprint from 3.49 GB to 1.06 GB. For the available 186k-step 874M-parameter INT8 export, the C++ runtime decodes at 22.63 tokens/s in a single-thread CPU benchmark, compared with 16.31 tokens/s for TinyLlama-1.1B Q8_0, 11.26 tokens/s for Falcon3-1B Q8_0, and 9.70 tokens/s for Qwen2.5-1.5B Q8_0 under llama.cpp. Thread scaling reaches 47.90 tokens/s at four CPU threads, and 512-token prefill improves from 29.86 to 94.68 tokens/s from one to eight threads. The throughput result comes with a quality cost: the SNN reports WikiText-2 perplexity 24.80, worse than the dense baselines in the same benchmark. We frame the result as an inference-systems study for sparse language runtimes, with longer-term motivation in embodied and edge agents that may benefit from local, low-core inference near sensors and actuators. Spike-aware execution can improve CPU throughput and memory behavior for sparse spiking language models, while model quality, controlled dense training baselines, embodied-task evaluation, and measured CPU energy remain open problems.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI