日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

コンパイラ最適化arXiv:2606.09312

コンパイラ世界モデルに向けて:効率的なテンソルプログラム探索のための潜在ダイナミクス学習

Toward Compiler World Models: Learning Latent Dynamics for Efficient Tensor Program Search

シェア:XThreadsFacebookLINEはてブBluesky

テンソルプログラム最適化の探索コストを削減するため、スケジュール評価を行動条件付きの潜在ダイナミクスとしてモデル化する世界モデル風評価器を提案し、TVM AutoSchedulerでAnsorを上回る性能を達成した。

詳しい要約

1. どんなもの?

Tensor program optimizationの探索空間を効率化するため、schedule評価をaction-conditioned latent dynamicsとしてモデル化するworld-model-inspired evaluatorを提案。初期programからscheduling actionを連続latent spaceでrolloutし、軽量transition modelでAST mutationや再encodingを回避。最終dynamic representationをaction・hardware特徴と結合して候補をrank。TVM AutoSchedulerに実装。

2. 先行研究と比べてどこがすごい?

既存auto-schedulerは学習済みcost modelで測定コストを削減するが、各候補を静的なcode snapshotとして評価し、schedule trajectoryを無視。そのためaction依存性に鈍感で、表面的なcode variationに脆弱。提案はtrajectoryを考慮したlatent dynamicsで評価する点が異なる。

3. 技術・手法の肝は?

schedule評価をaction-conditioned latent dynamics over program statesとして定式化。初期programからscheduling actionを連続latent spaceで軽量transition modelによりrollout。高コストなAST mutationと繰り返しcode encodingを回避。最終dynamic representationにactionとhardware featuresを組み合わせて候補をrank。TVM AutoSchedulerに実装。

4. どうやって有効だと検証した?

TVM AutoSchedulerで実装し、同一64-trial budget下で代表subgraph latencyがAnsor比GPU 1.37×、CPU 1.54×改善。Ansor-10Kと比較し10×少ない測定でgeometric mean 2.2%以内で一致。PyTorch/PyTorch-opt(cuDNN)比でfull-model inferenceをgeometric mean 4.61×/3.67×加速。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

Ansor、TVM AutoScheduler、PyTorch、PyTorch-opt(cuDNN)が参照/比較されている。関連手法としてauto-schedulerやcost model、world model、latent dynamicsの研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haolin Pan, Lianghong Huang, Xvlin Zhou, Mingjie Xing, Yanjun Wu

分類: cs.LG, cs.PL

原文アブストラクト

Tensor program optimization is essential for modern machine learning systems, but its search space is enormous. Existing auto-schedulers reduce measurement cost with learned cost models, yet they usually evaluate each candidate as a static code snapshot, ignoring the schedule trajectory that produced it. This makes them insensitive to action dependencies and vulnerable to superficial code variations. We propose a \emph{world-model-inspired} evaluator that models schedule evaluation as action-conditioned latent dynamics over program states. Starting from the initial program, it rolls out scheduling actions in a continuous latent space with a lightweight transition model, avoiding expensive AST mutation and repeated code encoding. The final dynamic representation is combined with action and hardware features to rank candidates. Implemented in TVM AutoScheduler, our method improves representative-subgraph latency over Ansor by 1.37$\times$ on GPU and 1.54$\times$ on CPU under the same 64-trial budget. It also matches Ansor-10K within 2.2% geometric mean using 10$\times$ fewer measurements, and accelerates full-model inference over PyTorch/PyTorch-opt(cuDNN) by 4.61$\times$/3.67$\times$ geometric mean.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI