日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モデルベース強化学習arXiv:2606.07974

PRISM: ワールドモデルにおける事前知識誘導型想像サンプリング

PRISM: PRior-guided Imagination Sampling in world Models

シェア:XThreadsFacebookLINEはてブBluesky

学習済みワールドモデルを用いたプランニングにおいて、候補アクションの生成を事前分布で誘導する手法を提案。軽量なMLPで状態条件付きガウス事前分布を予測し、プランナーのサンプリング分布に融合することで性能を向上させた。

詳しい要約

1. どんなもの?

- 連続制御のためのmodel-based planningにおいて、候補行動の生成方法を改善するフレームワークPRISMを提案。 - 学習済みworld modelの表現とデータを活用し、状態条件付きの行動priorを抽出。 - 計画時にpriorをサンプリング分布に融合し、効率的な探索を実現。

2. 先行研究と比べてどこがすごい?

- 既存のplannerは候補行動を任意に探索したり、expert demonstrationを初期化にのみ使用し、状態条件付きの信頼度を無視していた。 - 独立したvisual encoderや大規模VLMに頼る手法が多いが、PRISMはそのようなアーキテクチャの肥大化を不要とし、単一データセットとworld modelの表現のみでpriorを抽出。 - 推論オーバーヘッドをほとんど増やさずに、Cubeで35ポイント、PushTで32ポイントの成功率向上を達成。

3. 技術・手法の肝は?

- 標準的なJEPA-style latent world modelをベースに、凍結したencoderに軽量MLPを接続し、状態条件付きGaussian priorを予測。 - 計画時には、priorをprecision-weighted Product-of-Gaussians更新によりplannerのサンプリング分布に融合。 - この統合はパラメータフリーで閉形式であり、priorが自信のある領域ではサンプリングを誘導し、そうでない領域では制御を譲る。

4. どうやって有効だと検証した?

- CubeとPushTのタスクにおいて、vanilla world-model-based MPCと比較して成功率がそれぞれ35ポイント、32ポイント向上。 - 推論オーバーヘッドが有意に増加しないことも確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- JEPA-style latent world model、Product-of-Gaussians、model-based MPC、visual encoder、VLM(Vision-Language Model)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhai Wang, Jiawei Xia, Rongxuan Zhou, Xiao Hu, Yongliang Shi, Jing Du, Yang Ye

分類: cs.RO, cs.AI

原文アブストラクト

A learned world model provides a powerful physical intuition for evaluating future states. But its effectiveness in continuous control also depends critically on how candidate actions are generated for model-based planning. Rather than solely asking how accurately a model can simulate the future, we ask: which candidate actions are worth evaluating in the first place? Existing planners typically search arbitrarily or use expert demonstrations only to initialize a sampling mean, discarding the expert's state-conditioned confidence. Properly guiding this search requires a robust action prior, yet current approaches often rely on independent visual encoders or large-scale VLMs to obtain one. We argue that this architectural bloat is unnecessary: the exact same data - and the learned representations of the world model itself - inherently encode the agent's action intuition. We introduce PRISM, a task-agnostic framework that extracts both from a single dataset while maintaining strict architectural simplicity. Building on a standard JEPA-style latent world model, PRISM attaches a lightweight MLP directly to its frozen encoder to predict a state-conditioned Gaussian prior. At plan time, PRISM fuses this prior into the planner's sampling distribution via a precision-weighted Product-of-Gaussians update. This parameter-free, closed-form integration steers the sampling process, making the prior confident where it is and ceding control where it is not. PRISM improves success rates by 35 percentage points over vanilla world-model-based MPC on Cube and 32 percentage points on PushT, without introducing significant inference overhead.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI