日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ハードウェアarXiv:2511.11601

異種AIアクセラレータ間の不一致を明らかにする

Mind the Gap: Revealing Inconsistencies Across Heterogeneous AI Accelerators

シェア:XThreadsFacebookLINEはてブBluesky

NVIDIA、AMD、Intel、Mac、HuaweiのAIアクセラレータ上で10万以上のモデルを実行し、演算子サポートや出力の不一致を調査した。

詳しい要約

1. どんなもの?

- 異種 AI accelerator 間での ML model の挙動の不一致を初めて実証的に調べた論文 - 4,000 の実 model から 100,000 以上の variant model を自動 pipeline で合成 - NVIDIA, AMD, Intel, Mac, Huawei の 5 種の enterprise-grade accelerator 上で実行 - operator 対応数、出力差分、compile 時失敗、実装不具合を横断比較

2. 先行研究と比べてどこがすごい?

- 単一 vendor 内や単一 accelerator 上の評価が中心だった先行研究に対し、5 種の異種 accelerator を同一 pipeline で比較 - 100,000 規模の variant model を自動生成して網羅的に実行する点が新しい - Mac と Huawei は NVIDIA より operator 対応が 17% 以上少ないことを定量化 - 出力不一致率 5% 超、PyTorch の 7 件の実装不具合、vendor 別 40 件の問題を特定 - 異種 hardware ecosystem での再現性課題を実証的に示した点が貢献

3. 技術・手法の肝は?

- 実 model 4,000 件を基に variant model を自動合成する pipeline を構築 - 合成した 100,000 以上の model を 5 種の accelerator 上で実行し挙動を比較 - operator 対応状況、出力差分、compile-based acceleration の成否を指標化 - 差分の原因を operator 実装差、例外数値の扱い、instruction scheduling の差に分類 - PyTorch 側と vendor 固有側の不具合を切り分けて同定

4. どうやって有効だと検証した?

- 5 種の enterprise-grade accelerator 上で 100,000 以上の variant model を実行して検証 - operator 対応数の比較で Mac と Huawei が NVIDIA 比 17% 以上少ないことを確認 - 出力不一致率が 5% を超える platform の存在を測定 - compile-based acceleration 時の失敗と、compile 版と標準実行版の出力差を観測 - PyTorch の 7 件と vendor 別 40 件の問題を実際に同定

5. 議論はある?

- 多様化する hardware ecosystem で一貫した ML 挙動を得る難しさを指摘 - 不一致の要因として operator 実装差、例外数値処理、instruction scheduling を挙げる - Mac と Huawei は compile-based acceleration で失敗しやすい傾向 - compile 版 model が標準実行と顕著に異なる出力を出す場合がある - 具体的な緩和策や benchmark 設計への提言は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている研究は明示されていない - 関連手法として PyTorch の operator 実装、compile-based acceleration、instruction scheduling に関する文献 - 異種 accelerator 比較の定番として MLPerf などの benchmark 関連研究 - 数値例外処理の差異を扱う浮動小数点再現性の研究 - vendor 別 issue の詳細は原論文の参照文献を確認すべき(要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Elliott Wen, Sean Ma, Ewan Tempero, Jens Dietrich, Daniel Luo, Jiaxing Shen, Kaiqi Zhao, Bruce Sham, Yousong Song, Jiayi Hua, Jia Hong

分類: cs.DC, cs.AI, cs.LG

原文アブストラクト

While NVIDIA remains the dominant provider of AI accelerators within cloud data center, emerging vendors such as AMD, Intel, Mac, and Huawei offer cost-effective alternatives with claims of compatibility and performance. This paper presents the first empirical study investigating divergence in machine learning model across heterogeneous AI accelerators. Utilizing an automated pipeline, we synthesize over 100,000 variant models derived from 4,000 real-world models and execute them across five different enterprise-grade accelerators. Our findings suggest that newer AI platforms from Mac and Huawei support at least 17\% fewer operators than NVIDIA. These platforms also exhibit a higher rate of output discrepancies (exceeding 5\%), which stem from differences in operator implementations, handling of exceptional numerical values, and instruction scheduling. They are also more susceptible to failures during model compilation-based acceleration, and in some cases, the compiled models produce outputs that differ noticeably from those generated using the standard execution mode. In addition, we identify 7 implementation flaws in PyTorch and 40 platform-specific issues across vendors. These results underscore the challenges of achieving consistent machine learning behavior in an increasingly diverse hardware ecosystem.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI