日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

コーディングエージェントarXiv:2610.15368

ANTE: 予測してから実行——検証済み信念からコーディングエージェントの内部世界モデルを学習

ANTE: Anticipate, Then Execute -- Learning Internal World Models for Coding Agents from Verified Beliefs

シェア:XThreadsFacebookLINEはてブBluesky

コーディングエージェントが行動前に結果を予測し、その予測を実実行で検証して信用度を学習する強化学習フレームワークANTEを提案。SWE-bench Verifiedで大幅な性能向上を達成。

詳しい要約

1. どんなもの?

- コーディングエージェント向けのagentic RLフレームワークANTEを提案。 - 行動前に内部beliefを述べ、その予測を実実行で検証し、per-step creditに変換。 - 予測を信頼/棄却するtrust-or-abstain判断も行う。 - 推論時にはANTE-TTOで候補行動を外部scorerなしに選択。 - Qwen3-32BをSWE-bench Verifiedで25.0%から57.2% pass@1に向上。

2. 先行研究と比べてどこがすごい?

- 既存coding agentsは先読みせず、terminal rewardが失敗を特定の先行ステップに帰属しにくい。 - 既存code world modelsはRL前に凍結されるか、環境出力への補助next-token lossに留まる。 - ANTEは実実行で予測を検証し、per-step creditとtrust-or-abstainに活用。 - 同一条件のGRPO baselineより6.2%高いpass@1を達成。 - world model精度がRL中に44%から69%へ上昇し、foresightがharnessやOOD領域に転移。

3. 技術・手法の肝は?

- 行動前に内部beliefを述べ、その予測を実実行で検証。 - Belief-Anchored Policy Optimization (BAPO)が予測をper-step advantageに変換。 - creditをpolicy自身のforecastにanchorする。 - 推論時はANTE-TTOが外部scorerなしで候補行動を選択。 - test-time scalingを促進。

4. どうやって有効だと検証した?

- SWE-bench VerifiedでQwen3-32Bのpass@1を25.0%から57.2%へ向上。 - 同一条件のGRPO baselineより6.2%高い。 - world model精度がRL中に44%から69%へ上昇。 - 学習されたforesightがharnessやout-of-distribution領域に転移。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- GRPO baseline - code world models - SWE-bench Verified - Qwen3-32B

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yi Ge, Kangrui Ruan, Jifan Chen, Manish Prajapat, Christian Bock, Xiaoyang Wang, Rein Houthooft, Aritra Sengupta, Varun Kumar

分類: cs.LG

原文アブストラクト

Rapid advances in large language models have made software engineering agents capable of tackling complex coding tasks. Within a containerized environment, a coding agent receives tool responses or execution results, and determines its later actions by those earlier results. However, most existing coding agents never look ahead: their policies do not anticipate the consequences of actions, and the terminal reward barely attributes a failure to certain earlier steps, so an ill-judged edit can corrupt the repository state irreversibly before any signal arrives. Recent code world models aim to address these challenges, but they are either trained and then frozen before reinforcement learning (RL), or reduced to an auxiliary next-token loss on the environment's outputs. We present ANTE (Anticipate, Then Execute), an agentic RL framework that verifies the policy's pre-action predictions by real execution and turns them into per-step credit for its actions and trust-or-abstain decisions. With an internal belief stated before each action, Belief-Anchored Policy Optimization (BAPO) turns the settled predictions into per-step advantages by anchoring credit on the policy's own forecasts. To turn the trained forecasts into better actions at inference, thereby facilitating effective test-time scaling, ANTE-TTO (test-time optimization) selects among candidate actions without an external scorer. ANTE raises Qwen3-32B from 25.0% to 57.2% pass@1 on SWE-bench Verified, 6.2% above a matched GRPO baseline trained without the belief state; its world model's accuracy climbs from 44% to 69% during RL, and the learned foresight capability transfers across harnesses and out-of-distribution domains. In summary, we aim to build a code world model that knows what has happened, what holds now, and what the next action will achieve.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI