日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.13247

知識経験学習によるエージェント的世界モデルの整合

Aligning Agentic World Models via Knowledgeable Experience Learning

シェア:XThreadsFacebookLINEはてブBluesky

LLMエージェントが物理世界の法則を尊重した計画を立てられるよう、環境フィードバックから記号的な世界知識リポジトリを自律構築するWorldMindを提案。

詳しい要約

1. どんなもの?

- LLMの物理世界モデルとしての課題を解決するWorldMindを提案。 - 物理的幻覚を防ぐため、環境フィードバックから象徴的World Knowledge Repositoryを自律構築。 - Process ExperienceとGoal Experienceを統合。 - EB-ALFREDとEB-Habitatで評価。

2. 先行研究と比べてどこがすごい?

- 既存のアラインメントはリソース集約的な訓練/微調整に依存。 - 動的環境ルールを静的パラメータに圧縮するため柔軟性に欠ける。 - WorldMindは訓練不要で環境フィードバックから知識を構築し、適応性が高い。 - クロスモデル・クロス環境転移性に優れる。

3. 技術・手法の肝は?

- 環境フィードバックを合成し、象徴的World Knowledge Repositoryを自律構築。 - Process Experience: 予測誤差を利用して物理的実現可能性を強制。 - Goal Experience: 成功軌跡を通じてタスク最適性を導く。 - これらを統合し、物理法則に従う計画を生成。

4. どうやって有効だと検証した?

- EB-ALFREDとEB-Habitatの2つのベンチマークで実験。 - ベースラインと比較して優れた性能を達成。 - クロスモデルおよびクロス環境転移性を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- EB-ALFRED, EB-Habitat, および既存のアラインメント戦略(訓練/微調整ベース)が参照されている。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Baochang Ren, Yunzhi Yao, Rui Sun, Shuofei Qiao, Ningyu Zhang, Huajun Chen

分類: cs.CL, cs.AI, cs.CV, cs.LG, cs.MM

原文アブストラクト

Current Large Language Models (LLMs) exhibit a critical modal disconnect: they possess vast semantic knowledge but lack the procedural grounding to respect the immutable laws of the physical world. Consequently, while these agents implicitly function as world models, their simulations often suffer from physical hallucinations-generating plans that are logically sound but physically unexecutable. Existing alignment strategies predominantly rely on resource-intensive training or fine-tuning, which attempt to compress dynamic environmental rules into static model parameters. However, such parametric encapsulation is inherently rigid, struggling to adapt to the open-ended variability of physical dynamics without continuous, costly retraining. To bridge this gap, we introduce WorldMind, a framework that autonomously constructs a symbolic World Knowledge Repository by synthesizing environmental feedback. Specifically, it unifies Process Experience to enforce physical feasibility via prediction errors and Goal Experience to guide task optimality through successful trajectories. Experiments on EB-ALFRED and EB-Habitat demonstrate that WorldMind achieves superior performance compared to baselines with remarkable cross-model and cross-environment transferability.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI