日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2609.38927

世界をグラフとして:潜在空間グラフによる関係的世界モデリング

World-as-Graph: Relational World Modeling Through Latent Space Graphs

シェア:XThreadsFacebookLINEはてブBluesky

物体中心の世界モデルにグラフ構造の帰納バイアスを導入し、物体間の関係を明示的に捉えて将来予測を行う手法WAGを提案。視覚推論とロボット操作タスクで優れた性能を示した。

詳しい要約

1. どんなもの?

- 視覚シーンをobject-level latent stateの集合として扱うobject-centric world model - 物体間関係を明示的に捉えるため、latent space上にtime-varying graphを構築するWAGを提案 - JEPA-style predictive representation learningにrelational inductive biasを導入 - 主に2モジュール: relation-aware structure inductionとobject-centric memory transition - visual reasoningとrobotic manipulationタスクを対象

2. 先行研究と比べてどこがすごい?

- 従来のobject-centric world modelはobject-object関係を暗黙的にしか捉えず、明示的なrelational/temporal構造とobject-centric dynamic memoryのモデル化が制限されていた - WAGはlatent graphにより関係構造を明示化し、relational inductive biasを予測表現学習に組み込む点が新しい - これにより関係性と時間構造を同時に扱い、object-centricな動的記憶を可能にする - ただし具体的な先行研究名や定量比較は要旨からは不明

3. 技術・手法の肝は?

- Relation-aware structure induction: object-centric slotからtime-varying latent graphを構築 - 同モジュールでrelation-aware object masking policyを設計し、latent spaceでの関係的object表現学習を誘導 - Object-centric memory transition: 隣接objectからのrelational informationとhistorical memoryを統合し、object-level dynamic stateを維持・更新 - これによりautoregressive future predictionを効果的に行う - 全体としてJEPA-style predictive representation learningにgraphベースの関係帰納バイアスを付与

4. どうやって有効だと検証した?

- visual reasoningとrobotic manipulationの両タスクでextensive experimentsを実施 - 提案手法WAGのsuperior performanceを実証したと要旨は述べる - ただし具体的なデータセット名、ベースライン、評価指標、アブレーションの詳細は要旨からは不明

5. 議論はある?

- 要旨ではobject-object関係の暗黙性、明示的relational/temporal構造モデリング、object-centric dynamic memoryの制限を課題として提示 - WAGがこれらを改善する枠組みとして議論されている - 限界、失敗事例、計算コスト、スケーラビリティ、一般化に関する議論は要旨からは不明

6. 次に読むべき論文は?

- JEPA-style predictive representation learningに関する研究 - object-centric world modelに関する研究 - object-centric slotを用いる手法 - visual reasoningおよびrobotic manipulationのworld model研究 - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yaqi Yang, Shuo Huang, Yujin Huang, Fucai Ke, Jiatong Han, Xin Zheng

分類: cs.LG, cs.CV

原文アブストラクト

World models aim to learn representations of real-world environments and predict their future evolution. Recent object-centric world models have made expressive progress by representing visual scenes as sets of object-level latent states, but object-object relations are often captured only implicitly, which limits explicit relational and temporal structure modeling and object-centric dynamic memory modeling. To address such challenges, we propose World-As-Graph (WAG), a graph-based object-centric world model that introduces relational inductive bias into JEPA-style predictive representation learning. The proposed WAG contains two main modules: (1) Relation-aware structure induction, which constructs time-varying latent graphs from object-centric slots and designs relation-aware object masking policies to guide relational object representation learning in latent space; (2) Object-centric memory transition, which maintains and updates object-level dynamic states by combining relational information from neighboring objects with historical memory, enabling effective autoregressive future prediction. Extensive experiments on both visual reasoning and robotic manipulation tasks could demonstrate the superior performance of our proposed WAG.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI