日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

エッジクラウド推論arXiv:2505.21594

早期終了を活用した高速・低コストな投機的エッジクラウドデコーディング

Fast and Cost-effective Speculative Edge-Cloud Decoding with Early Exits

シェア:XThreadsFacebookLINEはてブBluesky

エッジ上の小型モデルとクラウド上の大型モデルを組み合わせ、早期終了で投機的デコーディングを高速化し、ロボット制御にも応用した研究。

詳しい要約

1. どんなもの?

- 概要: edge と cloud の協調による LLM 推論の高速化・低コスト化フレームワーク - server 側に large target model、device 側に small draft model を配置 - speculative decoding を edge-cloud 構成に拡張したもの - target model に early exits を導入し、検証途中で token を生成 - 対象: smartphone、wearable、embodied robot などの resource-constrained edge devices - 目的: cloud API 依存による高コスト・低アクセス性・持続性問題の緩和

2. 先行研究と比べてどこがすごい?

- 比較対象: cloud-based autoregressive decoding(従来のクラウド推論) - 差分: speculative decoding に early exits を組み合わせ、edge-cloud 間の並列性を高める点 - 効果: 従来比で最大 35% の latency 削減 - 追加効果: preemptive drafting によりさらに 11% 改善 - 実機: Unitree Go2 上の VLM ベース制御で 21% の speedup - 先行研究との詳細な比較は要旨からは不明

3. 技術・手法の肝は?

- 構成: server に large target model、client に small draft model - 核: target model に early exits を導入 - 仕組み: 検証途中で token を生成(mid-verification) - 効果1: client が最終検証前に後続 token を先制的に draft(preemptive drafting) - 効果2: idle time を活用し edge-cloud 間の並列性を向上 - モデル例: draft=Vicuna-68M、target=Llama2-7B - ハード例: client=NVIDIA Jetson Nano、server=A100 GPU

4. どうやって有効だと検証した?

- 実験環境: NVIDIA Jetson Nano(client) + A100 GPU(server) - モデル: Vicuna-68M(draft)、Llama2-7B(target) - 指標: latency 削減率、preemptive drafting の追加改善率 - 結果: cloud-based autoregressive decoding 比で最大 35% latency 削減、preemptive drafting で追加 11% 改善 - 実機検証: Unitree Go2 quadruped robot 上で VLM ベース制御を実施 - 実機結果: 従来の cloud-based autoregressive decoding 比で 21% speedup

5. 議論はある?

- 主張: resource-constrained edge devices 上での real-time LLM/VLM 応用の可能性 - 利点: 低コスト化、latency 低減、privacy 向上、持続性への配慮 - 制約: edge の計算資源が model サイズ・精度を制限 - 限界や失敗ケース、early exits の精度影響に関する詳細は要旨からは不明 - 定量評価は特定のモデル・ハード構成に限定されており一般性の議論は要旨からは不明

6. 次に読むべき論文は?

- 関連手法: speculative decoding、early exit、edge-cloud collaborative inference - 比較対象: cloud-based autoregressive decoding - 使用モデル: Vicuna-68M、Llama2-7B - 応用: VLM-based control on Unitree Go2 - 具体的な参照論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yeshwanth Venkatesha, Souvik Kundu, Priyadarshini Panda

分類: cs.RO, cs.AI, cs.DC

原文アブストラクト

Large Language Models (LLMs) enable various applications on edge devices such as smartphones, wearables, and embodied robots. However, their deployment often depends on expensive cloud-based APIs, creating high operational costs, which limit access for smaller organizations and raise sustainability concerns. Certain LLMs can be deployed on-device, offering a cost-effective solution with reduced latency and improved privacy. Yet, limited computing resources constrain the size and accuracy of models that can be deployed, necessitating a collaborative design between edge and cloud. We propose a fast and cost-effective speculative edge-cloud decoding framework with a large target model on the server and a small draft model on the device. By introducing early exits in the target model, tokens are generated mid-verification, allowing the client to preemptively draft subsequent tokens before final verification, thus utilizing idle time and enhancing parallelism between edge and cloud. Using an NVIDIA Jetson Nano (client) and an A100 GPU (server) with Vicuna-68M (draft) and Llama2-7B (target) models, our method achieves up to a 35% reduction in latency compared to cloud-based autoregressive decoding, with an additional 11% improvement from preemptive drafting. To demonstrate real-world applicability, we deploy our method on the Unitree Go2 quadruped robot using Vision-Language Model (VLM) based control, achieving a 21% speedup over traditional cloud-based autoregressive decoding. These results demonstrate the potential of our framework for real-time LLM and VLM applications on resource-constrained edge devices.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI