日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

言語エージェント/強化学習arXiv:2610.19642

重要なものだけをモデル化:言語エージェントのための意思決定誘導型選択的世界モデリング

Model What Matters: Decision-Guided Selective World Modeling for Language Agents

シェア:XThreadsFacebookLINEはてブBluesky

言語エージェントの強化学習において、意思決定に重要な観測のみを世界モデリングの対象として選択し、予測信頼度に応じて重み付けする補助学習手法を提案。複数のベンチマークで性能向上を実現した。

詳しい要約

1. どんなもの?

- 大規模言語モデル(LLM)駆動エージェントの強化学習(RL)において、タスク報酬が疎な軌跡レベル信号である問題に対処。 - 行動条件付き環境遷移を直接監督せず、行動結果や環境動態の理解が限定的。 - 補助監督として政策(policy)と世界モデル(world modeling)の共訓練が注目されるが、観察内容の意思決定関連性の違いを無視。 - 提案手法 DGS-WM(Decision-Guided Selective World Modeling)は、意思決定に基づく選択的世界モデリングを言語エージェントに適用。 - 単一/マルチホップ質問応答やインタラクティブWebタスクなど複数ベンチマークで一貫した改善を実現。

2. 先行研究と比べてどこがすごい?

- 従来の政策・世界モデル共訓練は、完全な環境観察を一律に世界モデリングのターゲットとして扱い、観察内容の意思決定関連性の違いを無視。 - DGS-WMは、Decision-Guided Observation Selectionにより、後続の政策応答への支持に基づいて意思決定価値のある観察単位をフィルタリング。 - Confidence-Adaptive Weightingにより、選択されたターゲットに対するモデルの予測信頼度に応じて監督強度を適応的に調整。 - これにより、完全観察世界モデリング手法と比較して、より安定かつ効果的な性能を実現。 - 異なるモデルスケールやRLアルゴリズム下でも一貫した改善を示す。

3. 技術・手法の肝は?

- DGS-WMは、意思決定誘導型の政策・世界モデル共訓練アプローチ。 - Decision-Guided Observation Selectionコンポーネント:後続の政策応答への支持に基づき、意思決定価値のある観察単位を世界モデリングターゲットとしてフィルタリング。 - Confidence-Adaptive Weightingコンポーネント:選択されたターゲットに対するモデルの予測信頼度に応じて監督強度を適応的に調整。 - これらのコンポーネントが意思決定認識型の補助世界モデリング損失を形成し、同一政策モデル上のRL損失と共同最適化。 - これにより、行動結果と環境動態の明示的理解を促進。

4. どうやって有効だと検証した?

- 単一ホップ/マルチホップ質問応答およびインタラクティブWebタスクを含む複数のベンチマークで評価。 - 異なるモデルスケールとRLアルゴリズムの下で一貫した改善を確認。 - 完全観察世界モデリング手法と比較して、より安定かつ効果的な性能を実証。 - 具体的なベンチマーク名や評価指標は要旨からは不明。

5. 議論はある?

- 要旨からは、手法の限界や議論の詳細は不明。 - 意思決定関連性に基づく観察選択と信頼度適応重み付けの有効性が示唆されるが、その一般性や計算コスト、他のタスクへの適用可能性については言及なし。 - 今後の課題や倫理的考慮についても要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:政策と世界モデルの共訓練(policy and world modeling co-training)に関する最近の研究。 - 関連手法:完全観察世界モデリング(full-observation world modeling)。 - 同分野の定番:強化学習(RL)を用いた言語エージェント、世界モデル(world model)、補助監督(auxiliary supervision)。 - 具体的な論文名は要旨に記載なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Maolin Ran, Minda Chen, Di Huang, Wei Xiong, Fei Huang, Weiwen Liu

分類: cs.AI, cs.CL, cs.LG

原文アブストラクト

Reinforcement learning provides a direct mechanism for optimizing task objectives in large language model-driven agents, but task rewards are typically sparse trajectory-level signals that only evaluate task success, without directly supervising action-conditioned environment transitions, leaving the model with limited explicit understanding of action consequences and environment dynamics. Recent work introduces auxiliary supervision through policy and world modeling co-training, yet typically treats complete environmental observations uniformly as world modeling targets, overlooking the varying decision relevance of observation content. We propose DGS-WM (Decision-Guided Selective World Modeling), a decision-guided policy-world modeling co-training approach for language agents. DGS-WM employs a Decision-Guided Observation Selection component that filters observation units with decision value as world modeling targets based on their support for subsequent policy responses, and a Confidence-Adaptive Weighting component that adaptively adjusts supervision strength according to the model's prediction confidence on selected targets. Together, these components form a decision-aware auxiliary world modeling loss, jointly optimized with the RL loss on the same policy model. Across multiple benchmarks covering single-hop/multi-hop question answering and interactive web tasks, DGS-WM achieves consistent improvements under different model scales and RL algorithms, demonstrating more stable and effective performance compared to full-observation world modeling methods.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI