日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

コード生成arXiv:2602.07672

コードワールドモデルのデバッグ

Debugging code world models

シェア:XThreadsFacebookLINEはてブBluesky

コード実行を模倣する言語モデル(CWM)の失敗要因を分析し、トークン予算の枯渇と文字列状態の誤り、および長期状態追跡の劣化が主に不正確な行動生成に起因することを示した。

詳しい要約

1. どんなもの?

- Code World Models (CWMs) は、プログラム実行をシミュレートするために訓練された language models。 - 各コマンド実行後の明示的な runtime state を予測する。 - この実行ベースの world modeling により、モデル内部での verification が可能。 - natural language chain-of-thought reasoning の代替手段を提供する。 - しかし、エラーの原因や CWM の限界の性質はよく理解されていない。

2. 先行研究と比べてどこがすごい?

- 従来の natural language chain-of-thought reasoning とは異なり、実行ベースの world modeling を採用。 - 内部 verification を可能にする点が新しい。 - 先行研究と比べて、CWM のエラー源と限界を初めて体系的に分析。 - 特に string-valued state の失敗が subword tokenization の限界に起因することを指摘。 - 長期的な状態追跡の劣化が主に不正確な action generation によることを示した。

3. 技術・手法の肝は?

- 2つの相補的視点から CWM を研究: local semantic execution と long-horizon state tracking。 - 実コードベンチマークで2つの主要な失敗モードを特定。 - 制御された permutation-tracking ベンチマークで長期的な状態伝播を分離。 - action を ground-truth commands に置き換える実験を実施。 - Transformer-based CWM の長期的な状態追跡能力を評価。

4. どうやって有効だと検証した?

- 実コードベンチマークを使用して、dense runtime state による token-budget exhaustion と string-valued state の失敗を確認。 - 制御された permutation-tracking ベンチマークで長期的な状態伝播を検証。 - action を ground-truth commands に置き換えると、Transformer-based CWM が長期的に正確に状態を伝播することを示した。 - これにより、長期的劣化が主に action generation の誤りに起因することを実証。

5. 議論はある?

- CWM の効率的な supervision と state representations の方向性を示唆。 - プログラム実行とデータ型により適合した表現の必要性を議論。 - string-valued state の失敗が subword tokenization の限界によることを指摘。 - 長期的な状態追跡の劣化が action generation の誤りに起因することを強調。 - 具体的な議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- Code World Models (CWMs) の関連研究。 - natural language chain-of-thought reasoning の研究。 - Transformer の長期的状態追跡に関する研究。 - subword tokenization の限界に関する研究。 - permutation-tracking ベンチマークを用いた研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Babak Rahmani

分類: cs.SE, cs.AI, cs.LG, cs.PL, cs.SC

原文アブストラクト

Code World Models (CWMs) are language models trained to simulate program execution by predicting explicit runtime state after every executed command. This execution-based world modeling enables internal verification within the model, offering an alternative to natural language chain-of-thought reasoning. However, the sources of errors and the nature of CWMs' limitations remain poorly understood. We study CWMs from two complementary perspectives: local semantic execution and long-horizon state tracking. On real-code benchmarks, we identify two dominant failure regimes. First, dense runtime state reveals produce token-intensive execution traces, leading to token-budget exhaustion on programs with long execution histories. Second, failures disproportionately concentrate in string-valued state, which we attribute to limitations of subword tokenization rather than program structure. To study long-horizon behavior, we use a controlled permutation-tracking benchmark that isolates state propagation under action execution. We show that long-horizon degradation is driven primarily by incorrect action generation: when actions are replaced with ground-truth commands, a Transformer-based CWM propagates state accurately over long horizons, despite known limitations of Transformers in long-horizon state tracking. These findings suggest directions for more efficient supervision and state representations in CWMs that are better aligned with program execution and data types.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI