日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/計画arXiv:2606.01810

トークン予測は計画ではない:物理に基づく因果推論エージェントの構築

Token Predictors Are Not Planners: Building Physically Grounded Causal Reasoners

シェア:XThreadsFacebookLINEはてブBluesky

身体性を持つ視覚言語計画の評価では、言語的な次トークン予測が重視されがちですが、本研究では物理的な因果推論を促すベンチマークと大規模データセットを構築し、因果推論を学習したモデルが計画性能を向上させることを示しました。

詳しい要約

1. どんなもの?

本論文は、embodied vision-language planning における現行ベンチマークが、物理的に接地した next-state reasoning よりも言語的な next-token prediction を優遇していると指摘し、その問題を解決するための新しい枠組みを提案する。具体的には、4つの causal dimensions にわたって embodied planning を評価する高忠実度診断スイート Causal-Plan-Bench と、egocentric videos に対する4段階の annotation pipeline で生成された100万規模の明示的 reasoning traces からなる Causal-Plan-1M を構築する。さらに、Qwen3-VL-8B を基盤とする Causal Planner を訓練し、物理的論理を内部化させることで、より正確な next-state estimation を実現する。全体として、表面的な token predictor から物理的に接地した causal reasoner へエージェントを転…

2. 先行研究と比べてどこがすごい?

先行研究の embodied vision-language planning 向けベンチマークは、物理的に接地した next-state reasoning よりも言語的な next-token prediction を好む傾向があり、統計的な言語 prior を模倣するモデルを報酬付けし、因果依存性の追跡を軽視して、物理的 planning を浅い sequence modeling に還元してしまっていた。これに対し本論文は、信頼できる物理的自律性には言語的に接地した token prediction から物理的に接地した causal reasoning への転換が必要だと主張し、Causal-Plan-Bench と Causal-Plan-1M を導入する。また、Causal Planner は in-domain 性能と cross-benchmark generalization を達成し、causal training data を100万インスタンスに拡大すると 33.22 から 45.28 へ 36.3% の相対的向上が得られる Causal Scaling La…

3. 技術・手法の肝は?

技術や手法の肝は、物理的に接地した causal reasoning を促すためのデータと評価の設計にある。まず、multi-stage verification を通じてキュレーションされた高忠実度診断スイート Causal-Plan-Bench を導入し、4つの causal dimensions にわたって embodied planning を評価する。次に、egocentric videos に対して4段階の annotation pipeline を適用し、明示的な reasoning traces からなる100万規模のコーパス Causal-Plan-1M を構築する。このデータを用いた training recipe により、Qwen3-VL-8B を基盤とする Causal Planner が物理的論理を内部化し、より正確な next-state estimation を行えるようにする。

4. どうやって有効だと検証した?

有効性の検証は、Causal-Plan-Bench を用いた広範な評価によって行われる。その結果、最先端モデルでさえ真の physical agency を示すことに苦戦しており、Gemini 3 Pro でも本ベンチマークで 38.18 にとどまることが示される。対照的に、提案する training recipe で訓練された Causal Planner は、in-domain 性能と cross-benchmark generalization において強い結果を達成する。さらに、causal training data を100万インスタンスに拡大すると、33.22 から 45.28 へ 36.3% の相対的向上が得られるという Causal Scaling Law が明らかにされる。

5. 議論はある?

議論としては、現在の embodied vision-language planning 向けベンチマークが言語的な next-token prediction を優先し、物理的に接地した next-state reasoning や causal dependencies の追跡を軽視しているという問題提起がなされている。その結果、物理的 planning が浅い sequence modeling に還元され、統計的な言語 prior を模倣するモデルが報酬を得てしまう。信頼できる物理的自律性のためには、言語的に接地した token prediction から物理的に接地した causal reasoning への転換が必要であると主張される。また、最先端モデルが genuine physical agency を示せていないこと、Causal Scaling Law が観察されることが議論の中心である。

6. 次に読むべき論文は?

要旨で参照・比較されている研究や関連手法としては、embodied vision-language planning のベンチマーク、next-token prediction、next-state reasoning、causal reasoning、Gemini 3 Pro、Qwen3-VL-8B が挙げられる。次に読むべき論文としては、これらの関連手法や、Causal-Plan-Bench と Causal-Plan-1M を基盤とする研究、および embodied planning における causal reasoning を扱う同分野の定番研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zheng Lu, Mingqi Gao, Qinlei Xie, Wanqi Zhong, Hanwen Cui, Heng Cao, Zirui Song, Yifan Yang, Chong Luo, Bei Liu, Yiming Li

分類: cs.AI

原文アブストラクト

Current benchmarks for embodied vision-language planning often favor linguistic next-token prediction over physically grounded next-state reasoning. This rewards models that mimic statistical language priors rather than track causal dependencies, reducing physical planning to shallow sequence modeling. We argue that reliable physical autonomy requires a shift from linguistically grounded token prediction toward physically grounded causal reasoning. To this end, we introduce Causal-Plan-Bench, a high-fidelity diagnostic suite curated through multi-stage verification to evaluate embodied planning across four causal dimensions. We also construct Causal-Plan-1M, a million-scale corpus of explicit reasoning traces produced by a four-stage annotation pipeline over egocentric videos. Extensive evaluation shows that leading models still struggle to demonstrate genuine physical agency, with Gemini 3 Pro reaching only 38.18 on our benchmark. In contrast, our training recipe enables Causal Planner, built on Qwen3-VL-8B, to internalize physical logic for more accurate next-state estimation. The model achieves strong in-domain performance and cross-benchmark generalization, and reveals a Causal Scaling Law: scaling causal training data to one million instances yields a 36.3% relative gain, from 33.22 to 45.28. Overall, our work provides a concrete step toward turning agents from superficial token predictors into physically grounded causal reasoners.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI