日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.10377

オンデバイスLLMのためのハードウェア協調設計スケーリング則:ルーフライン・モデリングによるアプローチ

Hardware Co-Design Scaling Laws via Roofline Modelling for On-Device LLMs

シェア:XThreadsFacebookLINEはてブBluesky

オンデバイスLLMのアーキテクチャ選択を高速化するため、訓練損失のスケーリング則と推論レイテンシのルーフラインモデルを組み合わせ、精度とレイテンシのパレートフロンティアを導出するハードウェア協調設計手法を提案した。

詳しい要約

1. どんなもの?

- 本論文は、オンデバイスLLMのためのハードウェア・ソフトウェア協調設計則を提案する。 - モデル精度と推論性能を同時に捉えるスケーリング則を構築。 - 具体的には、訓練損失をアーキテクチャのハイパーパラメータの関数としてモデル化し、推論レイテンシをroofline modellingで特徴付ける。 - NVIDIA Jetson Orin上で1,942の候補アーキテクチャを評価し、170モデルを10Bトークンで訓練してスケーリング則をフィット。 - 精度とレイテンシの対応関係を確立し、Pareto frontierを同定。 - アーキテクチャ探索を精度と性能の同時最適化として定式化し、産業用ハードウェアとアプリケーションの予算下で実現可能な設計領域を導出。 - アーキテクチャ選択を数ヶ月から数日に短縮。 - 同じレイテンシでQwen2.5-0.5BよりWikiText-2で19.42%低いperplexityを達成。 - オンデバイスLLM展開におけるハードウェア協調設計スケーリング則の最初の原理的かつ運用可能なフレームワークと主張。

2. 先行研究と比べてどこがすごい?

- 従来の研究では、モデル精度と推論性能を別々に扱うことが多かったが、本論文は両者を統合したスケーリング則を提案。 - ハードウェア・ソフトウェア協調設計をゲームチェンジャーと位置づけ、各ハードウェアプラットフォームに tailored なアーキテクチャソリューションを提供。 - 従来のアーキテクチャ選択は数ヶ月を要したが、本手法は数日に短縮。 - 同じレイテンシでQwen2.5-0.5Bより19.42%低いperplexityを達成し、性能向上を実証。 - オンデバイスLLM展開におけるハードウェア協調設計スケーリング則の最初の原理的かつ運用可能なフレームワークであると主張。

3. 技術・手法の肝は?

- 訓練損失をアーキテクチャのハイパーパラメータの明示的な関数としてモデル化。 - 推論レイテンシをroofline modellingで特徴付ける。 - NVIDIA Jetson Orin上で1,942の候補アーキテクチャを経験的に評価。 - 170の選択されたモデルを10Bトークンで訓練し、アーキテクチャと訓練損失の関係をスケーリング則としてフィット。 - スケーリング則とレイテンシモデルを結合し、精度とレイテンシの直接対応を確立。 - Pareto frontierを同定。 - アーキテクチャ探索を精度と性能の同時最適化として定式化し、産業用ハードウェアとアプリケーションの予算下で実現可能な設計領域を導出。

4. どうやって有効だと検証した?

- NVIDIA Jetson Orin上で1,942の候補アーキテクチャを評価。 - 170の選択されたモデルを10Bトークンで訓練し、スケーリング則をフィット。 - 精度とレイテンシの対応関係を確立し、Pareto frontierを同定。 - 同じレイテンシでQwen2.5-0.5Bと比較し、WikiText-2で19.42%低いperplexityを達成。 - アーキテクチャ選択を数ヶ月から数日に短縮したことを示す。

5. 議論はある?

- 本手法はオンデバイスLLM展開におけるハードウェア協調設計スケーリング則の最初の原理的かつ運用可能なフレームワークであると主張。 - 産業用ハードウェアとアプリケーションの予算下で実現可能な設計領域を導出。 - コードと関連チェックポイントを公開予定。 - 議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- Qwen2.5-0.5B(比較対象として言及) - roofline modelling(関連手法) - scaling law(関連手法) - Pareto frontier(関連概念) - Vision-Language-Action Models (VLAs)(関連分野)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Luoyang Sun, Jiwen Jiang, Yifeng Ding, Fengfa Li, Yan Song, Haifeng Zhang, Jian Ying, Lei Ren, Kun Zhan, Wei Chen, Yan Xie, Cheng Deng

分類: cs.LG, cs.CL

原文アブストラクト

Vision-Language-Action Models (VLAs) have emerged as a key paradigm of Physical AI and are increasingly deployed in autonomous vehicles, robots, and smart spaces. In these resource-constrained on-device settings, selecting an appropriate large language model (LLM) backbone is a critical challenge: models must balance accuracy with strict inference latency and hardware efficiency constraints. This makes hardware-software co-design a game-changing requirement for on-device LLM deployment, where each hardware platform demands a tailored architectural solution. We propose a hardware co-design law that jointly captures model accuracy and inference performance. Specifically, we model training loss as an explicit function of architectural hyperparameters and characterise inference latency via roofline modelling. We empirically evaluate 1,942 candidate architectures on NVIDIA Jetson Orin, training 170 selected models for 10B tokens each to fit a scaling law relating architecture to training loss. By coupling this scaling law with latency modelling, we establish a direct accuracy-latency correspondence and identify the Pareto frontier for hardware co-designed LLMs. We further formulate architecture search as a joint optimisation over precision and performance, deriving feasible design regions under industrial hardware and application budgets. Our approach reduces architecture selection from months to days. At the same latency as Qwen2.5-0.5B on the target hardware, our co-designed architecture achieves 19.42% lower perplexity on WikiText-2. To our knowledge, this is the first principled and operational framework for hardware co-design scaling laws in on-device LLM deployment. We will make the code and related checkpoints publicly available.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI