日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデル/強化学習arXiv:2607.16204

マスク拡散言語モデルはエージェント強化学習のための強力で制御可能なテキストベース世界モデルである

Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL

シェア:XThreadsFacebookLINEはてブBluesky

テキストベースの世界モデルを、初期状態やタスク文脈などの要素に分解し、マスク拡散言語モデルが自己回帰モデルより優れた一貫性と多様性を持つことを示し、強化学習の訓練環境として有効なフレームワークを提案した。

詳しい要約

1. どんなもの?

- テキストベースのworld modelを、steerableなtransition-dynamics問題として定式化 - 初期状態・task context・tool schemas・domain rules・steering directivesに分解 - 9つのopen-source環境と12のfrontier model familiesから239,403件のgrounded state-action trajectoriesを収集 - AR LMとmasked diffusion language models (MDLMs)を比較し、agentic RLの訓練環境として評価

2. 先行研究と比べてどこがすごい?

- AR world modelはleft-to-right biasのため、tool schemasやprior turns、expected outcomesなどグローバルに相互依存するstate anchorsを条件付けできない - MDLMはbidirectional anchor-aware denoisingにより、4倍のパラメータを持つLLMよりcoherence・groundedness・rollout diversityで優位 - 推論latencyは同等 - 環境固有のfine-tuningなしでOOD環境にzero-shot transferし、最大47%の絶対改善を達成

3. 技術・手法の肝は?

- text-based world modelingをsteerable transition-dynamics問題として形式化 - MDLMのbidirectional anchor-aware denoisingをworld modelに適用 - plug-and-playのGRPO training frameworkを導入 - deterministic state checksを組み込む - 239,403件のgrounded state-action trajectoriesをキュレーション

4. どうやって有効だと検証した?

- AR LMとMDLMをcoherence・groundedness・rollout diversityで比較 - 3つのOOD環境(ScienceWorld, ALFWorld, AppWorld)でzero-shot transfer ablation - 3つのagent backbone(LFM2.5, Qwen3, Mistral、1.2B-7B)で評価 - 環境固有のfine-tuningなしで最大47%の絶対改善を確認 - adversarial scenariosでのfailure modeのbehavioral analysisと、realism・outcome correctness・training utilityに関するhuman evaluationを実施

5. 議論はある?

- 手作業でキュレーションされた固定難易度の環境はモデル性能向上に伴い有効性が低下 - 長horizonでのsparse rewardは特定workflowやtool構造へのmode collapseを誘発 - AR world modelのleft-to-right biasがグローバルなstate anchorsの条件付けを妨げる - adversarial scenariosでのfailure mode分析とhuman evaluationを実施 - 詳細な議論の内容は要旨からは不明

6. 次に読むべき論文は?

- AR LMs - masked diffusion language models (MDLMs) - GRPO - ScienceWorld - ALFWorld - AppWorld - LFM2.5 - Qwen3 - Mistral

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Darshan Deshpande

分類: cs.AI, cs.LG

原文アブストラクト

Recent growth in reinforcement learning (RL) has surfaced a need for diverse, specialized training environments. Hand-curated environments with fixed task and reward difficulties become ineffective signals as model performance improves, and sparse rewards over long horizons induce mode collapse on specific workflows or tool structures. World models that simulate environment states have matched pure rollout performance, making them promising for scaling diversity on-demand. However, autoregressive (AR) world models suffer from a left-to-right bias preventing conditioning on globally interdependent state anchors such as tool schemas, prior turns, and expected outcomes. We (i) formalize text-based world modeling as a steerable transition-dynamics problem decomposed into initial state, task context, tool schemas, domain rules, and steering directives, and (ii) curate 239,403 grounded state-action trajectories spanning nine open-source environments and twelve frontier model families. We compare AR LMs and masked diffusion language models (MDLMs), showing MDLMs, via bidirectional anchor-aware denoising, achieve better coherence, groundedness, and empirically validated rollout diversity than LLMs over 4x their parameter size, at comparable inference latency. We introduce a plug-and-play GRPO training framework with deterministic state checks, and perform zero-shot transfer ablations on three OOD environments (ScienceWorld, ALFWorld, AppWorld) across three 1.2B-7B agent backbones (LFM2.5, Qwen3, Mistral), achieving up to 47% absolute gains over baselines without environment-specific fine-tuning. We further conduct behavioral analysis of failure modes under adversarial scenarios and human evaluation on realism, outcome correctness, and training utility. We open-source our work to encourage research in this direction.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI