日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

コード理解/LLM評価arXiv:2604.16320

LLMは実行意味論をどれほど頑健に理解するか

How Robustly do LLMs Understand Execution Semantics?

シェア:XThreadsFacebookLINEはてブBluesky

コードの出力予測タスクに摂動を加え、LLMのコード理解の頑健性を評価。GPT-5.2は元ベンチマークで99%だが摂動で20-24%低下し、例外予測に弱いことを示した。

詳しい要約

1. どんなもの?

- LLMのコード理解における実行意味論の頑健性を調査 - 標準的なprogram-output predictionタスクを使用 - コード変換と入力摂動に対するモデルの挙動を分析 - オープンソース推論モデル(DeepSeek-R1ファミリー)とfrontier model GPT-5.2を比較 - 元のCRUXEvalベンチマークと摂動入力での精度変化を評価

2. 先行研究と比べてどこがすごい?

- 従来のコード理解評価は静的なベンチマークに依存 - 本研究は摂動を用いてLLMの内部world modelの有無を探る - GPT-5.2が元のCRUXEvalで99%とほぼ完璧ながら、摂動で20-24%の精度低下を示す脆弱性を発見 - DeepSeek-R1ファミリーは38-67%と低めだが安定 - 例外予測における性能差と例外の種類依存性を明らかにした点が新しい

3. 技術・手法の肝は?

- program-output predictionタスクを採用 - コード変換と入力摂動を適用してrobustnessを測定 - 例外を引き起こす摂動入力に焦点を当て、例外予測の欠陥を分析 - 例外予測の改善策を検討し、非例外挙動予測への影響も評価 - モデル間の挙動の分岐を比較分析

4. どうやって有効だと検証した?

- CRUXEvalベンチマークを元の形と摂動形で使用 - GPT-5.2の精度: 元99%、摂動で20-24%低下 - DeepSeek-R1ファミリー: 摂動下で38-67%の安定した精度 - 例外を引き起こす摂動入力での予測性能が多くのモデルで大幅に低下 - 例外の種類によって予測性能が異なることを確認 - 改善策の効果を例外予測と非例外予測の両面で評価

5. 議論はある?

- 全てのモデルがコード理解に限界を持つことを示唆 - 摂動を用いたコードモデル評価の有効性を確立 - 例外予測の欠陥がモデルの一般的な弱点である可能性 - 改善策が非例外挙動予測に与える影響について議論 - 内部world model vs パターンマッチングの議論に寄与

6. 次に読むべき論文は?

- CRUXEvalベンチマークの原論文 - DeepSeek-R1ファミリーの論文 - GPT-5.2の技術報告 - program-output predictionに関する先行研究 - LLMのコード理解とrobustnessに関する関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Claudio Spiess, Prem Devanbu, Earl T. Barr

分類: cs.SE, cs.AI, cs.LG

原文アブストラクト

LLMs demonstrate remarkable reasoning capabilities, yet whether they utilize internal world models or rely on sophisticated pattern matching remains open. We study LLMs through the lens of robustness of their code understanding using a standard program-output prediction task. Our results reveal a stark divergence in model behavior: while open-source reasoning models (DeepSeek-R1 family) maintain stable, albeit somewhat lower accuracies (38% to 67%) under code transformations & input perturbations, the frontier model GPT-5.2 exhibits significant brittleness. Despite achieving a near-perfect score of 99% on the original, unperturbed CRUXEval benchmark, perturbed inputs trigger accuracy declines between 20% and 24%. In addition, we find that many models perform much worse at predicting behavior on perturbed inputs that raise exceptions, and that prediction performance depends on the kind of exception. We study remedies to address this deficiency in exception prediction, and evaluate the effect of these remedies on the ability to predict non-exception behaviors. Our findings both point to limitations in the way all models understand code, and establish the value of using perturbation to evaluate code models.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI