日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2604.13824

状態一貫性を超えて:テキストベース世界モデルにおける行動一貫性

Beyond State Consistency: Behavior Consistency in Text-Based World Models

シェア:XThreadsFacebookLINEはてブBluesky

テキストベース環境の世界モデルを、状態の一致ではなく行動の一貫性に基づいて訓練する新しい手法を提案し、長期的な整合性と計画性能の向上を示した。

詳しい要約

1. どんなもの?

- テキストベース環境におけるWorld Modelの評価と訓練に関する研究。 - 従来の単一ステップ指標(Exact Matchなど)では不十分なため、行動の機能的整合性を測る新しい指標Behavior Consistency Reward (BehR)を導入。 - BehRは、凍結したReference Agentの下で、実状態とWorld Model予測状態の間で記録された次行動の尤度がどれだけ変化するかを測定。 - BehRを用いた訓練パラダイムを提案し、WebShopとTextWorldで実験。

2. 先行研究と比べてどこがすごい?

- 従来はExact Matchなどの単一ステップ指標でWorld Modelを評価・訓練していたが、これらは実際のエージェント行動を捉えるのに不十分であることが示されている。 - 提案手法は、行動の機能的整合性に焦点を当て、長期的な整合性を改善する。 - WebShopとTextWorldでの実験で、BehRベースの訓練は長期的整合性を改善し、特にWebShopで明確な向上が見られ、4設定中3設定で単一ステップ予測品質を維持または改善。 - また、オフライン代理評価での偽陽性を低減し、推論時のルックアヘッド計画でも modest ながら有望な改善を示す。

3. 技術・手法の肝は?

- 行動整合型訓練パラダイムを導入。 - 扱いやすいステップレベルの指標Behavior Consistency Reward (BehR)を最適化。 - BehRは、凍結したReference Agentの下で、実状態とWorld Model予測状態の間で記録された次行動の尤度の変化を測定。 - この指標を用いてWorld Modelを訓練する。

4. どうやって有効だと検証した?

- WebShopとTextWorldでの実験により検証。 - BehRベースの訓練は、いくつかの設定で長期的整合性を改善し、WebShopで最も明確な向上、near-ceiling regimesでは変化が少ない。 - 4設定中3設定で単一ステップ予測品質を維持または改善。 - オフライン代理評価での偽陽性が低減。 - 推論時のルックアヘッド計画で modest だが有望な改善。

5. 議論はある?

- 要旨からは、提案手法の限界や議論の詳細は不明。 - ただし、near-ceiling regimesでは改善が少ないことが示唆されている。 - また、単一ステップ予測品質が4設定中1設定で維持または改善されなかった可能性がある。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Exact Match、Reference Agent、WebShop、TextWorld。 - 関連手法:World Models、Behavior Consistency、Offline Surrogate Evaluation、Inference-time Lookahead Planning。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Youling Huang, Guanqiao Chen, Junchi Yao, Lu Wang, Fangkai Yang, Chao Du, ChenZhuo Zhao, Pu Zhao, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

分類: cs.LG

原文アブストラクト

World models have been emerging as critical components for assessing the consequences of actions generated by interactive agents in online planning and offline evaluation. In text-based environments, world models are typically evaluated and trained with single-step metrics such as Exact Match, aiming to improve the similarity between predicted and real-world states, but such metrics have been shown to be insufficient for capturing actual agent behavior. To address this issue, we introduce a new behavior-aligned training paradigm aimed at improving the functional consistency between the world model and the real environment. This paradigm focuses on optimizing a tractable step-level metric named Behavior Consistency Reward (BehR), which measures how much the likelihood of a logged next action changes between the real state and the world-model-predicted state under a frozen Reference Agent. Experiments on WebShop and TextWorld show that BehR-based training improves long-term alignment in several settings, with the clearest gains in WebShop and less movement in near-ceiling regimes, while preserving or improving single-step prediction quality in three of four settings. World models trained with BehR also achieve lower false positives in offline surrogate evaluation and show modest but encouraging gains in inference-time lookahead planning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI