日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2611.24115

身体性グラフ:長期的タスクのための関係的世界モデル

Embodied Graph: A Relational World Model for Long-Horizon Tasks

シェア:XThreadsFacebookLINEはてブBluesky

タスク関連エンティティの関係構造をグラフとして抽象化し、そのグラフ上で想像(予測)を行うことで長期的タスクの計画精度を高める世界モデルを提案した論文。

詳しい要約

1. どんなもの?

- 長期的タスクにおける意思決定のための新しい world model の提案 - 密な pixel-level 観測ではなく、sparse な状態抽象化上で imagination を行う - Embodied Graph と呼ぶ relational な状態抽象化を導入 - Relational World Model (RWM) を構築 - Task-Aware Embodied Graph Constructor - Embodied Graph Recurrent State Space Model - Minecraft、Crafter、web interaction で評価

2. 先行研究と比べてどこがすごい?

- 既存の world model は密な pixel-level 観測に依存 - 冗長情報を吸収し、タスク関連 entity 間の関係を見落とす問題があった - 長い imagination rollout で小さな誤差が蓄積し予測を劣化させる - 提案手法は sparse な graph 状態上で imagination を行う点が新しい - 冗長情報を除去し relational structure を組み込むことで長期的 dynamics を安定的に学習 - Minecraft では与えられた budget 内で diamond を獲得した唯一の手法

3. 技術・手法の肝は?

- Embodied Graph: relational な状態抽象化 - 構造化された dynamics modeling と長期的 imagination を支援 - RWM は graph 状態上で直接 imagination を実行 - (i) Task-Aware Embodied Graph Constructor - 冗長な詳細をフィルタリング - online 更新で graph memory を維持 - (ii) Embodied Graph Recurrent State Space Model - node ごとの latent dynamics を学習 - node 間の依存関係を捉える - imagination された graph 状態が行動結果の予測を提供し意思決定を導く

4. どうやって有効だと検証した?

- Minecraft と Crafter での実験により embodied 環境での有効性を実証 - Minecraft では与えられた budget 内で diamond を獲得した唯一の手法 - web interaction での実験により、relational state prediction が web agent の意思決定に適用可能であることを示す - 具体的な比較手法や指標の詳細は要旨からは不明

5. 議論はある?

- 密な pixel-level 観測の冗長性と誤差蓄積という問題意識が背景 - sparse な状態抽象化における2つの課題を提示 - 冗長情報の除去と compact な状態抽象化の形成 - relational structure を組み込み信頼性の高い長期的 dynamics を学習すること - 具体的な限界や失敗ケース、計算コストなどの議論は要旨からは不明

6. 次に読むべき論文は?

- 既存の pixel-level 観測に基づく world model 研究(比較対象として言及) - Recurrent State Space Model (RSSM) 系の手法 - Minecraft を対象とした embodied agent 研究 - Crafter ベンチマーク関連研究 - web agent の意思決定に関する研究 - 要旨で個別の論文名は明示されていないため、上記は関連手法・ベンチマークの一般名

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zongyuan Wu, Xin Wang, Tongtong Feng, Yuan Meng, Zeyang Zhang, Ling Feng, Wenwu Zhu

分類: cs.AI

原文アブストラクト

Long-horizon tasks in embodied and web environments involve extended decision sequences and delayed feedback, making accurate planning crucial for success. World models tackle this by learning latent dynamics for imagination-based planning. However, existing approaches merely rely on dense pixel-level observations, which forces the model to absorb redundant information while overlooking relations among task-relevant entities. Consequently, small errors may accumulate over long imagined rollouts and gradually corrupt the predictions. In this paper, we explore world models that imagine over sparse state abstractions, which poses two key challenges: 1) how to remove redundant information and form a compact state abstraction; 2) how to incorporate the relational structure to learn reliable long-horizon dynamics. To address these challenges, we propose Embodied Graph, a relational state abstraction that supports structured dynamics modeling and long-horizon imagination, and the Relational World Model (RWM), which performs imagination directly over graph states. RWM consists of (i) a Task-Aware Embodied Graph Constructor that filters redundant details and maintains graph memory through online updates, and (ii) an Embodied Graph Recurrent State Space Model that learns node-wise latent dynamics while capturing inter-node dependencies. The imagined graph states provide predictions of action consequences to guide decision-making. Experiments on Minecraft and Crafter demonstrate the effectiveness of RWM in embodied environments. Notably, in Minecraft, RWM is the only method that obtains diamonds within the given budget. Experiments on web interaction further illustrate the applicability of relational state prediction to the decision making process of web agents.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  4. 4パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術
  5. 5日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI