日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

エッジ推論コンパイラarXiv:2611.03710

te-comp: MCU向けに自己完結型C推論エンジンを生成する完全MLIRコンパイラ

te-comp: A Complete MLIR Compiler Generating Self-Contained C Inference Engines for MCUs

シェア:XThreadsFacebookLINEはてブBluesky

tfliteやsafetensors形式のモデルから、依存関係ゼロのC推論エンジンとRTOS統合層を生成するMLIRベースのコンパイラを提案し、MCUNetより少ないメモリで動作させ、8.3MパラメータのGPT-NeoをCortex-M7上で実現した。

詳しい要約

1. どんなもの?

- te-comp は、標準的なモデル(.tflite または .safetensors)を入力として、MCU 上で動作する自己完結型の C 推論エンジンを生成する、MLIR ベースの完全なコンパイラである。 - 生成物には、カーネル、重み配列、メモリレイアウトを含む推論エンジンと、RTOS 統合レイヤが含まれ、実行時の依存関係がゼロである。 - 対象は SRAM/Flash が数十〜数百 KB の MCU であり、モデル重みと実行時アクティベーションの両方を収める必要がある。 - 8.3M パラメータの GPT-Neo transformer (TinyStories-v2) を Cortex-M7 上に展開するデモも示している。

2. 先行研究と比べてどこがすごい?

- 既存手法は、事前に書かれたカーネルライブラリを用いるインタプリタ型か、Python コード生成器と手書き C カーネルの組み合わせであり、ディスパッチオーバーヘッドやフレームワーク依存が生じていた。 - 既存手法はいずれも、特定モデルに特化した自己完結・依存関係なしの C コードを生成していなかった。 - te-comp は、10 個の MCUNet CNN ベンチマークで MCUNet TinyEngine と比較して、SRAM を 38% 削減(最大 5.9 倍)し、Flash を 15% 削減しつつ、事前カーネルライブラリをリンクするのではなく完全な C コードを生成する。 - さらに、既存の MCU 推論フレームワークが対応していない GPT-Neo transformer の MCU 展開を実現している。

3. 技術・手法の肝は?

- MLIR ベースの完全なコンパイラであり、.tflite または .safetensors 形式の標準モデルを入力とする。 - 推論エンジン(カーネル、重み配列、メモリレイアウト)と RTOS 統合レイヤを含む、デプロイに必要なすべての C ソースファイルを出力する。 - 実行時依存関係がゼロの自己完結型 C コードを生成する。 - GPT-Neo 展開では、Q4_0 重み量子化、ステートフル int4 KV キャッシュ、語彙プルーニングを用いている。 - 具体的な MLIR dialect 構成やパス設計の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 10 個の MCUNet CNN ベンチマークで MCUNet TinyEngine と比較し、SRAM 使用量が 38% 少なく(最大 5.9 倍)、Flash 使用量が 15% 少ないことを示した。 - 8.3M パラメータの GPT-Neo transformer (TinyStories-v2) をコンパイルし、160MHz のシングルコア Cortex-M7 上に展開した。 - フルファームウェアは 512KB SRAM のうち 249KB、4MB Flash のうち 3.62MB を使用し、約 1 token/s の対話的テキスト生成を達成した。 - 量子化や KV キャッシュなどの各手法の個別アブレーションは要旨からは不明。

5. 議論はある?

- 既存の MCU 推論フレームワークでは対応できない GPT-Neo transformer の展開を実現した点を主張している。 - 自己完結・依存関係なしの C コード生成により、ディスパッチオーバーヘッドとフレームワーク依存を排除できるとしている。 - 一方、生成コードの可読性・保守性、コンパイル時間、対応モデルやオペレータの範囲、RTOS 統合レイヤの具体性については要旨からは不明。 - 約 1 token/s という生成速度の実用性や、他 MCU への一般性についての議論は要旨からは不明。

6. 次に読むべき論文は?

- MCUNet および TinyEngine(比較対象の先行研究) - MLIR を用いた深層学習コンパイラの関連研究(要旨では具体的な論文名は挙げられていない) - .tflite および .safetensors 形式のモデル変換・量子化に関する研究 - GPT-Neo / TinyStories-v2 など小型 transformer の MCU 展開に関する研究 - Q4_0 量子化や int4 KV キャッシュなど、低ビット量子化推論の関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Van Chan Ngo

分類: cs.PL, cs.RO

原文アブストラクト

Deploying deep learning on microcontrollers (MCUs) requires fitting both the model weights and runtime activations within tens to hundreds of kilobytes of SRAM and Flash. Existing approaches either use an interpreter with a pre-written kernel library or combine a Python code generator with hand-written C kernels. This incurs dispatch overhead and requires framework dependencies. None produces self-contained, dependency-free C code specialized to a given model. In this paper, we present te-comp, the first complete MLIR-based compiler that takes a standard model in .tflite or .safetensors format and emits all C source files needed for deployment: the inference engine (kernels, weight arrays, memory layout) and the RTOS integration layer with zero runtime dependencies. On 10 MCUNet CNN benchmarks, te-comp outperforms MCUNet TinyEngine by using 38% less SRAM (up to 5.9$\times$) and 15% less Flash, while generating complete C code rather than linking a pre-written kernel library. To demonstrate, we use te-comp to compile an 8.3M-parameter GPT-Neo transformer (TinyStories-v2) and deploy it on a single-core Cortex-M7 at 160MHz. The full firmware uses 249KB of 512KB SRAM and 3.62MB of 4MB Flash and achieves approximately 1 token/s interactive text generation via Q4_0 weight quantization, a stateful int4 KV cache, and vocabulary pruning -- a capability no existing MCU inference framework supports.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI