日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデル/表現学習arXiv:2606.27681

世界モデルのためのテキスト信念状態:厳密な媒介下での識別可能な表現学習

Textual Belief States for World Models: Identifiable Representation Learning Under Strict Mediation

シェア:XThreadsFacebookLINEはてブBluesky

LLMベースの世界モデルで、履歴バイパスによる表現の未識別性問題を解決するため、テキスト潜在状態と木構造強化学習法fGRPOを導入し、厳密な媒介を強制して表現品質とロールアウト性能を大幅に向上させた。

詳しい要約

1. どんなもの?

- 部分的観測環境におけるWorld Modelsのための、テキストベースの潜在状態表現を学習する手法。 - 厳密な潜在状態媒介(strict mediation)をテキスト領域で実現する。 - 離散的で解釈可能な可変長のtextual latent statesを導入。 - 訓練にfactorized GRPO(fGRPO)を用いる。

2. 先行研究と比べてどこがすごい?

- 従来のLLMベースアーキテクチャではhistory bypassにより潜在状態がunidentifiableになる問題があった。 - 厳密な媒介をテキストで強制するのは未解決課題だった(離散・非微分可能で変分訓練不可、LLMデコーダがボトルネックを無視)。 - 本研究はテキスト領域でstrict mediationを可能にし、表現品質を経験的にテスト可能にした。 - 先行研究と比べ、表現品質が最大57%向上、ロールアウト性能が98%改善。

3. 技術・手法の肝は?

- textual latent states:離散的・解釈可能・可変長のテキスト潜在状態。 - factorized GRPO(fGRPO):木構造の強化学習手法で、訓練中にstrict mediationを強制。 - strict mediationの必要性を形式化し、history-leakyアーキテクチャが表現品質と予測性能の結びつきを壊すことを示す。

4. どうやって有効だと検証した?

- TextWorldとScienceWorldでの実験。 - 1ステップ予測精度を維持しつつ、表現品質が最大57%向上。 - ロールアウト性能が98%改善し、タスク複雑度とホライズンが増すほど向上。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:LLM-based architectures、variational training、GRPO。 - 関連手法:TextWorld、ScienceWorld。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiang Gao, Kaiwen Dong, Yuguang Yao, Padmaja Jonnalagedda, Kamalika Das

分類: cs.LG, cs.CL

原文アブストラクト

World models in partially observed environments rely on latent representations that summarize interaction history, but in many modern LLM-based architectures predictive performance fails to reflect representation quality due to history bypass, rendering the latent state unidentifiable. Strict latent state mediation, requiring predictions to depend only on the latent state and action, is a classical principle that resolves this, but enforcing it in text-based settings is an open challenge: textual latent states are discrete and non-differentiable, precluding variational training, and expressive LLM decoders readily ignore the bottleneck. We show how to make strict mediation work in the text domain. We formalize why it is necessary, showing that strict mediation makes representation quality empirically testable while history-leaky architectures break this connection. We then introduce textual latent states, which are discrete, interpretable, and variable-length, and factorized GRPO (fGRPO), a tree-structured reinforcement learning method that enforces strict mediation during training. Experiments on TextWorld and ScienceWorld show preserved one-step prediction accuracy alongside up to 57\% gains in representation quality and 98\% improvements in rollout performance, increasing with task complexity and horizon.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI