日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モデルベースRLarXiv:2511.22904

言語条件付き世界モデルによる環境記述の読解と方策汎化の向上

Language-conditioned world model improves policy generalization by reading environmental descriptions

シェア:XThreadsFacebookLINEはてブBluesky

DreamerV3を拡張し、環境の振る舞いを記述した言語を注意機構で観測内の実体に結びつける世界モデルLED-WMを提案。専門家デモや計画なしに、未知のゲームへの方策汎化を改善した。

詳しい要約

1. どんなもの?

- 言語記述(環境のダイナミクスを説明する文)を条件とした world model を用いる model-based reinforcement learning の研究。 - 提案手法は LED-WM(Language-aware Encoder for Dreamer World Model)で、DreamerV3 を基盤とする。 - 推論時 planning や expert demonstrations を前提とせず、環境との相互作用で world model を訓練し、そこから policy を学習する。 - 目的は未見のゲーム(新規の dynamics と言語で記述される)への policy の汎化向上。

2. 先行研究と比べてどこがすごい?

- 既存の model-based 手法は言語を world model に組み込むが、未見ゲームへの policy 汎化を示さない、または限定的な仮定に依存していた。 - 具体的には、推論時 planning の遅延が許容されるという仮定や、expert demonstrations が利用可能という仮定に依拠していた。 - 本研究はこれらの仮定を外し、planning も expert demonstrations も用いずに言語条件付き world model からの policy 汎化を目指す点が異なる。 - 複数設定・2環境(MESSENGER、MESSENGER-WM)で他ベースラインより汎化が有効と報告。

3. 技術・手法の肝は?

- DreamerV3 上に構築した LED-WM を提案。 - 中核は observation encoder で、attention mechanism により言語記述を観測内の entities に明示的に ground する。 - 言語条件付き world model を環境との相互作用から訓練し、そのモデルから policy を学習(planning なし、expert demonstrations なし)。 - 学習済み world model が生成する synthetic test trajectories を用いた fine-tuning により policy を改善できることも示す。

4. どうやって有効だと検証した?

- MESSENGER と MESSENGER-WM の2環境、複数の設定で評価。 - 新規の dynamics と言語で記述される未見ゲームに対し、LED-WM で訓練した policy が他ベースラインより効果的に汎化することを示した。 - world model が生成する synthetic test trajectories での fine-tuning により policy が改善できることを実演。 - 実世界展開前に学習済み world model を policy が活用できる点を強調。

5. 議論はある?

- 要旨からは不明(限界や失敗事例、計算コスト、attention の解釈性などに関する議論は要旨に記載なし)。 - 明示されている主張は、planning や expert demonstrations の仮定を外しても汎化が向上する点と、world model 生成の synthetic trajectories による fine-tuning の有効性。

6. 次に読むべき論文は?

- DreamerV3(基盤手法)。 - 言語を world model に組み込む既存の model-based 手法(要旨で比較対象として言及されるが個別名は不明)。 - MESSENGER および MESSENGER-WM(評価環境)。 - 言語条件付き policy 学習・instruction following の関連研究(同分野の定番として一般名で挙げる)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anh Nguyen, Stefan Lee

分類: cs.CL, cs.LG

原文アブストラクト

To interact effectively with humans in the real world, it is important for agents to understand language that describes the dynamics of the environment--that is, how the environment behaves--rather than just task instructions specifying "what to do". Understanding this dynamics-descriptive language is important for human-agent interaction and agent behavior. Recent work address this problem using a model-based approach: language is incorporated into a world model, which is then used to learn a behavior policy. However, these existing methods either do not demonstrate policy generalization to unseen games or rely on limiting assumptions. For instance, assuming that the latency induced by inference-time planning is tolerable for the target task or expert demonstrations are available. Expanding on this line of research, we focus on improving policy generalization from a language-conditioned world model while dropping these assumptions. We propose a model-based reinforcement learning approach, where a language-conditioned world model is trained through interaction with the environment, and a policy is learned from this model--without planning or expert demonstrations. Our method proposes Language-aware Encoder for Dreamer World Model (LED-WM) built on top of DreamerV3. LED-WM features an observation encoder that uses an attention mechanism to explicitly ground language descriptions to entities in the observation. We show that policies trained with LED-WM generalize more effectively to unseen games described by novel dynamics and language compared to other baselines in several settings in two environments: MESSENGER and MESSENGER-WM.To highlight how the policy can leverage the trained world model before real-world deployment, we demonstrate the policy can be improved through fine-tuning on synthetic test trajectories generated by the world model.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI