日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2602.06130

潜在行動による自己改善型世界モデリング

Self-Improving World Modelling with Latent Actions

シェア:XThreadsFacebookLINEはてブBluesky

行動ラベルなしの状態列から、行動を潜在変数として扱い、順方向世界モデルと逆動力学モデルを交互に強化学習で自己改善するフレームワークSWIRLを提案。

詳しい要約

1. どんなもの?

- 提案手法: SWIRL - 状態のみの系列から世界モデルを自己改善するフレームワーク - 行動を潜在変数として扱い、Forward World Modelling (FWM) と Inverse Dynamics Modelling (IDM) を交互に学習 - 対象: LLMs と VLMs の推論・計画 - 評価: 複数環境で性能向上を確認

2. 先行研究と比べてどこがすごい?

- 先行研究: 行動ラベル付き軌跡が必要でコスト大 - 提案手法: 状態のみの系列から学習可能 - 行動を潜在変数として扱う自己改善フレームワーク - 行動ラベル不要で世界モデルを学習 - 理論的な学習可能性保証を提供

3. 技術・手法の肝は?

- 交互更新: FWM P_θ(Y|X,Z) と IDM Q_φ(Z|X,Y) - フェーズ1: Variational Information Maximisation - FWM を更新し、潜在行動との条件付き相互情報量を最大化 - 識別可能な一貫性を促進 - フェーズ2: ELBO Maximisation - IDM を更新し、観測遷移を説明 - 座標上昇法を実行 - 学習: 強化学習 (GRPO) を使用 - 相手の凍結モデルの対数確率を報酬信号として利用

4. どうやって有効だと検証した?

- 評価環境: LLMs と VLMs で複数環境 - 単一ターン・マルチターンのオープンワールド視覚力学 - 物理・ウェブ・ツール呼び出しの合成テキスト環境 - 性能向上: - AURORABench: 16% 向上 - ByteMorph: 28% 向上 - WorldPredictionBench: 16% 向上 - StableToolBench: 14% 向上

5. 議論はある?

- 理論的保証: 両更新の学習可能性保証を提供 - 限界・議論: 要旨からは不明 - 計算コスト、スケーラビリティ、他の環境への一般化などは言及なし

6. 次に読むべき論文は?

- 関連研究: Forward World Modelling (FWM), Inverse Dynamics Modelling (IDM) - 比較手法: 行動ラベル付き軌跡を用いる従来の世界モデル学習 - 強化学習: GRPO - ベンチマーク: AURORABench, ByteMorph, WorldPredictionBench, StableToolBench - 同分野の定番: Dreamer, PlaNet, World Models

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifu Qiu, Zheng Zhao, Waylon Li, Yftah Ziser, Anna Korhonen, Shay B. Cohen, Edoardo M. Ponti

分類: cs.LG, cs.AI, cs.CL

原文アブストラクト

Internal modelling of the world -- predicting transitions between previous states $X$ and next states $Y$ under actions $Z$ -- is essential to reasoning and planning for LLMs and VLMs. Learning such models typically requires costly action-labelled trajectories. We propose SWIRL, a self-improvement framework that learns from state-only sequences by treating actions as a latent variable and alternating between Forward World Modelling (FWM) $P_θ(Y|X,Z)$ and an Inverse Dynamics Modelling (IDM) $Q_φ(Z|X,Y)$. SWIRL iterates two phases: (1) Variational Information Maximisation, which updates the FWM to generate next states that maximise conditional mutual information with latent actions given prior states, encouraging identifiable consistency; and (2) ELBO Maximisation, which updates the IDM to explain observed transitions, effectively performing coordinate ascent. Both models are trained with reinforcement learning (specifically, GRPO) with the opposite frozen model's log-probability as a reward signal. We provide theoretical learnability guarantees for both updates, and evaluate SWIRL on LLMs and VLMs across multiple environments: single-turn and multi-turn open-world visual dynamics and synthetic textual environments for physics, web, and tool calling. SWIRL achieves gains of 16% on AURORABench, 28% on ByteMorph, 16% on WorldPredictionBench, and 14% on StableToolBench.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI