日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

計画/LLMarXiv:2607.14169

検証済みワールドモデルが依然として負けるとき:LLM合成コードワールドモデルにおけるプレイ適合性と予測精度

When a Verified World Model Still Loses: Play-Adequacy vs Prediction-Accuracy in LLM-Synthesized Code World Models

シェア:XThreadsFacebookLINEはてブBluesky

LLMが生成したゲームルールのコードワールドモデルが、遷移精度100%でも計画時に重要な動的規則を欠落させ、プレイで負けることを示し、その危険性を定量化する法則を導出した。

詳しい要約

1. どんなもの?

本論文は、LLMがゲームルールを実行可能なコードとして合成するCode World Model (CWM)を扱う。CWMは古典的プランナーによって探索されるが、従来はサンプリングされた軌跡上での遷移精度が高いことでモデルを受理していた。著者らは、これは計画にとって誤った妥当性の概念であると主張し、検証済みだが誤ったモデルがプレイで系統的に負けることを示す。

2. 先行研究と比べてどこがすごい?

従来研究では、CWMの品質を遷移精度や状態精度で評価していた。本研究は、100%の遷移精度と98%以上の状態精度を達成しても、プレイでは系統的に負けることを示し、検証と正しさのギャップ(verified-vs-correct gap)を明らかにした点が新しい。また、その害が定量的法則に従うことを証明し、データ追加では修復されないことを示した。

3. 技術・手法の肝は?

手法の肝は、CWMの合成パイプラインをエンドツーエンドで検証し、サンプリングゲートを通過するが重要なダイナミクスを欠くモデルを特定すること。さらに、危険度を表す式 danger = play_cost × (1 - rarity)^N を提案し、ゲートミス因子を証明した。また、不完全情報CWMの信念推論関数に対するカバレッジ境界を証明し、浅いゲームではギャップが生じない理由を説明した。

4. どうやって有効だと検証した?

検証は、LLM合成CWMがサンプリングゲートを100%の遷移精度で通過し、プランナーの探索分布上で98%以上の状態精度を持つにもかかわらず、プレイで系統的に負けることを実験で示した。プレイコストは0.091(95% CI [0.065,0.117], n=4800)であった。また、GPT-5.xやDAgger、ターゲット例を含むデータ体制でルール推論が行われないことを確認し、Kuhn pokerではギャップがないこと、手構成したBeaconではギャップがあることを示した。

5. 議論はある?

議論として、計画指向のワールドモデルでは、予測精度ではなく探索分布上またはプレイ直接で妥当性を測定すべきだと主張している。また、LLM合成はルール翻訳でありルール推論ではないため、データを増やしても欠落ルールを推論できないと述べている。さらに、不完全情報ゲームでは信念推論関数にも同様のメカニズムが再発することを示した。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、LLMによるコード合成、古典的プランナー、DAgger、不完全情報ゲームの信念推論などが挙げられる。具体的な論文名は不明だが、次に読むべきは、LLMを用いたワールドモデル合成や計画のためのモデル学習に関する研究、および不完全情報ゲームにおける信念推論の研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Javier Aguilar Martín

分類: cs.AI, cs.LG

原文アブストラクト

Large language models can synthesize a game's rules as executable code - a Code World Model (CWM) - which a classical planner then searches over. Such models are typically accepted when they reach high transition accuracy on sampled trajectories. We argue this is the wrong notion of adequacy for planning. We show four things. (1) An LLM-synthesized CWM can pass a sampling gate at 100% transition accuracy and be $\geq 98\%$ state-accurate on the planner's own search distribution, yet lose systematically at play, because the $<1\%$ it gets wrong is exactly the pivotal dynamics; the play cost of the omitted rule is $0.091$ (seed-clustered 95% CI $[0.065,0.117]$, $n=4800$). We call this the verified-vs-correct gap, and confirm it end-to-end through the synthesis pipeline. (2) The harm follows a quantitative law, $\mathrm{danger}=\mathrm{play\_cost}\times(1-\mathrm{rarity})^N$, whose $(1-\mathrm{rarity})^N$ gate-miss factor is proven exact and whose play cost is empirically bounded. (3) The failure is not repaired by more data: LLM synthesis behaves as rule translation, not rule inference, and did not infer the omitted rule across models (GPT-5.x) and data regimes (including DAgger and targeted examples). (4) The same mechanism recurs on the belief-inference function of imperfect-information CWMs: we prove a coverage bound (a size-$N$ gate is identifying when $N\gtrsim b^{d_{\max}}$), explaining why shallow games such as Kuhn poker show no gap, and hand-construct Beacon, a verified-but-wrong inference function that passes the gate yet loses every game. These results suggest adequacy for planning-oriented world models should be measured on the search distribution or by play directly, not by prediction accuracy on sampled transitions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI