日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデル/計画arXiv:2607.25236

VisualPatchWorld: コードワールドモデルによる潜在構造表現としての計画

VisualPatchWorld: Code World Models as Latent Structured Representations for Planning

シェア:XThreadsFacebookLINEはてブBluesky

世界モデルをコードとして表現するVisualPatchWorldを提案し、短いプローブで動的形態を選択し、パラメータを適合させることで、計画成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

VisualPatchWorld (VPW) は、世界モデルをコードとして表現する新しい手法を提案する。VPWは、まず短い能動的プローブを用いて定性的な力学形式を選択し、次に記録された状態-行動トレースから多段階予測誤差を最小化することでその形式の自由パラメータを適合させる。得られたプログラムはシミュレータのように前方に展開でき、ソース形式で検査でき、model-predictive control内で使用できる。画像由来のシーングラフが再計画時にライブ状態を供給する。

2. 先行研究と比べてどこがすごい?

先行研究には、連続ベクトル空間で力学を学習するニューラル予測器と、明示的な状態と物理法則を公開する手作りの物理エンジンがある。ニューラル予測器はデータからスケールするが力学の形式は暗黙的であり、物理エンジンは検査・編集可能だが大規模に構築するのは困難。VPWはコードとして世界力学を表現することで、両者の利点を組み合わせ、自動構築可能で検査可能なコード世界モデルを実現する。

3. 技術・手法の肝は?

手法の肝は、世界力学をコードとして表現し、2段階のプロセスで構築すること。まず、短い能動的プローブで定性的な力学形式(qualitative dynamical form)を選択する。次に、記録された状態-行動トレースから多段階予測誤差を最小化して自由パラメータを適合させる。得られたプログラムはシミュレータとして展開可能で、model-predictive controlに組み込む。また、画像由来のシーングラフをライブ状態として使用する。

4. どうやって有効だと検証した?

先行のコードベース世界モデルとの比較で、VPWは平均計画成功率69.0%を達成し、最強のコードベースラインを23.5ポイント上回った。最大の改善は、正しい定性的力学の選択が本質的な場合に生じた。同じプランナーの下で、誘導されたモデルはナビゲーションと把持リッチな制御で真値エンジンの成功率に近づいた。接触リッチな押し操作では残差ギャップが残るが、有望な計画の短いリストをエンジンでチェックすることでそのギャップの大部分を埋めた。

5. 議論はある?

議論として、接触リッチな押し操作では真値エンジンとのギャップが残ることが挙げられる。しかし、計画の短いリストをエンジンで検証することでそのギャップの大部分を埋められることが示された。また、VPWはコード世界モデルの自動構築への実用的な経路を確立するが、要旨からは限界や将来の課題についての詳細は不明。

6. 次に読むべき論文は?

要旨で参照されている先行研究は、コードベースの世界モデル(code-based world models)と、ニューラル予測器および物理エンジンに関する研究。具体的な論文名は不明だが、関連する分野として、世界モデル、model-predictive control、シーングラフ表現、ニューラル力学予測、物理エンジン統合などの研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiaxin Bai, Jiaxuan Xiong

分類: cs.CL, cs.RO

原文アブストラクト

Different research lines use the term world model in different ways, yet they share a common aim: to capture how the world evolves under action in a form that supports perception, simulation, and planning. Two prominent realizations are neural predictors that learn dynamics in continuous vector spaces, and hand-built physics engines that expose explicit state and physical laws. Neural predictors scale from data but leave the form of the dynamics implicit; physics engines are inspectable and editable but difficult to construct at scale. We introduce VisualPatchWorld (VPW), which represents world dynamics as code. VPW first selects a qualitative dynamical form with short active probes, then fits that form's free parameters from recorded state-action traces by minimizing multi-step prediction error. The resulting programs can be rolled forward like a simulator, inspected in source form, and used inside model-predictive control; image-derived scene graphs can supply the live state at replan time. Across comparisons with prior code-based world models, VPW attains 69.0% mean planning success and exceeds the strongest code baseline by 23.5 points. The largest gains arise when choosing the correct qualitative dynamics is essential. Under the same planner, the induced models approach ground-truth engine success on navigation and grasp-rich control; a residual gap remains for contact-rich pushing, and checking a shortlist of promising plans in the engine closes most of that gap. These results establish a practical route toward automatically constructed code world models that are useful for planning. Code is available at https://github.com/HKBU-KnowComp/VisualPatchWorld/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI