日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

エッジ推論arXiv:2607.09520

見るのは無料、話すのは有料:エッジVLM推論における真のエネルギーボトルネックの解明

Seeing is Free, Speaking is Not: Uncovering the True Energy Bottleneck in Edge VLM Inference

シェア:XThreadsFacebookLINEはてブBluesky

エッジデバイスでのVLM推論のエネルギー消費を初めて体系的にプロファイリングし、出力トークン数がレイテンシとエネルギーの主要因であることを明らかにした。

詳しい要約

1. どんなもの?

本論文は、エッジデバイス上でのVision-Language Model (VLM)推論のエネルギー消費を体系的にプロファイリングした初の研究である。5モデル、3アーキテクチャファミリ、4入力解像度、2ハードウェアプラットフォーム(NVIDIA RTX 3070とJetson Orin NX)にわたって測定を行い、エネルギー消費の真のボトルネックが視覚トークン処理ではなく、出力トークン生成(decode)にあることを明らかにした。

2. 先行研究と比べてどこがすごい?

既存研究は視覚トークンの削減に焦点を当て、視覚処理が主要なエネルギーコストであると暗黙に仮定していた。本論文は、この仮定を覆し、平均推論電力が入力条件に依存しないモデル固有の定数であること、出力トークンあたりのコストが入力トークンあたりの11〜39倍であること、画像の複雑さによるエネルギー差が出力長の違いに起因することを示した。

3. 技術・手法の肝は?

手法の肝は、VLM推論のエネルギーを電力と時間に分解し、prefillとdecodeの非対称性に着目したことである。具体的には、異なる入力解像度、画像複雑度、プロンプトタイプ、モデル規模、ハードウェア上で推論時間と電力を測定し、エネルギー変動が時間変動に由来することを実証した。また、視覚トークンプルーニングの限界を理論的に示し、出力長制御のエネルギー削減効果を定量化した。

4. どうやって有効だと検証した?

有効性は、5つのVLM(1B〜8Bパラメータ)を3つのアーキテクチャファミリから選び、4つの入力解像度、2つのハードウェアプラットフォームで測定することで検証した。その結果、平均推論電力は全条件で5%未満の変動しかないこと、出力トークンあたりの時間コストが入力トークンの11〜39倍であること、画像内オブジェクト数が4.1倍のエネルギー差を生むこと、出力長制御で最大97%のエネルギー削減が可能であることを示した。

5. 議論はある?

議論として、視覚トークンプルーニングは固定トークンモデルでは最大10%のエネルギー削減しかもたらさないため、その有効性に疑問を投げかけている。また、モデル規模が大きくなるほどdecodeのエネルギー支配が強まることを指摘し、エッジVLMのエネルギー最適化には出力長の制御が重要であると主張している。ただし、要旨からは、出力長制御の具体的な方法や精度への影響については不明である。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、視覚トークンプルーニングに関する既存研究や、VLMの推論最適化に関する研究が挙げられる。具体的には、視覚トークン削減手法(例:token pruning)や、decodeフェーズの高速化手法(例:speculative decoding)に関する論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junfei Zhan, Haoxun Shen, Mingang Guo, Zixuan Huang, Tengjiao He

分類: cs.CV, cs.AI

原文アブストラクト

Vision-Language Models (VLMs) are the perceptual backbone of embodied AI, but their energy footprint on edge hardware remains poorly understood. Existing efficiency efforts focus predominantly on reducing visual tokens, implicitly treating visual processing as the dominant energy cost. We overturn this implicit assumption through the first systematic energy profiling of on-device VLM inference, spanning five models across three architecture families, four input resolutions, and two hardware platforms (NVIDIA RTX 3070 and Jetson Orin NX). Our analysis yields three findings. First, average inference power is a model-intrinsic constant, invariant to input resolution, image complexity, and prompt type, with less than 5% variation across all conditions. This means that all energy variation across inputs must arise from variation in inference time, not from variation in power draw. Second, each output token costs 11 to 39x more wall-clock time than each input token due to the compute-bound and memory-bound asymmetry between prefill and decode, making output token count the dominant driver of both latency and energy. Third, image complexity, measured by the number of objects in an image, induces up to 4.1x energy differences at identical resolution. This variation arises not from increased visual processing cost, but from differences in output length. These findings expose a fundamental limitation of visual token pruning: even removing all visual tokens saves at most 10% of total energy for fixed-token models. Across models spanning 1 billion to 8 billion parameters, controlling output length saves up to 97% of total energy, with the energy dominance of decoding growing stronger at larger model scale. In short, the true energy bottleneck in edge VLM inference is not what the model sees, but how much it says. Code is available at https://github.com/Junfei-Z/seeing-is-free.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI