日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2605.13740

言語モデルの事前知識を用いた観測からのPOMDP世界モデル学習

Learning POMDP World Models from Observations with Language-Model Priors

シェア:XThreadsFacebookLINEはてブBluesky

LLMが少数の観測・行動軌跡からPOMDPモデルを提案・反復改良し、信念ベースの尤度を最適化することで、部分観測環境でのサンプル効率的な世界モデル学習を実現した。

詳しい要約

1. どんなもの?

- POMDP の world model を observation-action trajectories から学習する手法 Pinductor を提案。 - LLM が候補 POMDP モデルを提案し、belief-based likelihood score を最適化するよう反復的に改良。 - 部分的観測下でのサンプル効率の良い world-model 学習を目指す。

2. 先行研究と比べてどこがすごい?

- hidden state への privileged access を仮定する LLM-based POMDP learning 手法と同等の性能・sample efficiency を、より少ない情報で達成。 - tabular POMDP baselines の sample efficiency を大幅に上回る。 - LLM 能力に応じて性能がスケールし、環境の semantic information を隠すと性能が graceful に劣化。

3. 技術・手法の肝は?

- LLM が少数の observation-action trajectories から候補 POMDP モデルを提案。 - belief-based likelihood score を最適化するよう候補を反復的に refine。 - 詳細なアルゴリズムは要旨からは不明。

4. どうやって有効だと検証した?

- LLM-based POMDP learning 手法や tabular POMDP baselines との比較で性能・sample efficiency を評価。 - LLM 能力や semantic information の有無による性能変化を検証。 - 具体的なベンチマークや環境は要旨からは不明。

5. 議論はある?

- language-model priors が部分的観測下の sample-efficient world-model 学習の実用的ツールとなり得ると主張。 - 実世界環境における generalist agents への一歩と位置づけ。 - 限界や今後の課題の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている LLM-based POMDP learning 手法(hidden state への privileged access を仮定するもの)。 - tabular POMDP baselines。 - 関連する POMDP 学習や world model 学習の定番手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Valentin Six, Frederik Panse, Mathis Fajeau, Lancelot Da Costa, Mridul Sharma, Alfonso Amayuelas, Tim Z. Xiao, David Hyland, Philipp Hennig, Bernhard Schölkopf

分類: cs.LG

原文アブストラクト

Whether navigating a building, operating a robot, or playing a game, an agent that acts effectively in an environment must first learn an internal model of how that environment works. Partially-observable Markov decision processes (POMDPs) provide a flexible modeling class for such internal world models, but learning them from observation-action trajectories alone is challenging and typically requires extensive environment interaction. We ask whether language-model priors can reduce costly interaction by leveraging prior knowledge, and introduce \emph{Pinductor} (POMDP-inductor): an LLM proposes candidate POMDP models from a few observation-action trajectories and iteratively refines them to optimize a belief-based likelihood score. Despite using strictly less information, \emph{Pinductor} matches the performance and sample efficiency of LLM-based POMDP learning methods that assume privileged access to the hidden state, while significantly surpassing the sample efficiency of tabular POMDP baselines. Further results show that performance scales with LLM capability and degrades gracefully as semantic information about the environment is withheld. Together, these results position language-model priors as a practical tool for sample-efficient world-model learning under partial observability, and a step toward generalist agents in real-world environments. Code is available at https://github.com/atomresearch/pinductor.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI