日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モデルベース強化学習arXiv:2602.14351

WIMLE: 不確実性を考慮した世界モデルによるサンプル効率の高い連続制御

WIMLE: Uncertainty-Aware World Models with IMLE for Sample-Efficient Continuous Control

シェア:XThreadsFacebookLINEはてブBluesky

IMLEを用いてマルチモーダルな世界モデルを学習し、予測不確実性で重み付けすることで、連続制御タスクのサンプル効率と性能を向上させたモデルベース強化学習手法。

詳しい要約

1. どんなもの?

- WIMLEは、model-based reinforcement learning (RL) のための不確実性を考慮したworld model手法。 - Implicit Maximum Likelihood Estimation (IMLE) をmodel-based RLに拡張し、確率的でマルチモーダルなworld modelを学習。 - 反復サンプリング不要で、ensembleとlatent samplingにより予測不確実性を推定。 - 連続制御タスク(DeepMind Control, MyoSuite, HumanoidBench)で評価。

2. 先行研究と比べてどこがすごい?

- 従来のmodel-based RLは複合モデル誤差、マルチモーダル動態を平均化する単峰world model、過信予測によるバイアスで性能が限定的。 - WIMLEはIMLEによりマルチモーダル動態を捉え、不確実性を考慮した重み付けで安定学習を実現。 - 40の連続制御タスクで、model-freeおよびmodel-basedの強力なベースラインより優れたサンプル効率と同等以上の漸近性能。 - Humanoid-runでは最強競合より50%以上のサンプル効率改善、HumanoidBenchでは14タスク中8タスクを解決(BROは4、SimbaV2は5)。

3. 技術・手法の肝は?

- IMLEをmodel-based RLに拡張し、反復サンプリングなしで確率的・マルチモーダルなworld modelを学習。 - ensembleとlatent samplingにより予測不確実性を推定。 - 訓練中、各合成遷移を予測信頼度で重み付けし、有用なモデルロールアウトを保持しつつ不確実な予測によるバイアスを減衰。 - これにより安定した学習を可能にする。

4. どうやって有効だと検証した?

- DeepMind Control, MyoSuite, HumanoidBenchにまたがる40の連続制御タスクで評価。 - サンプル効率と漸近性能を、強力なmodel-freeおよびmodel-basedベースラインと比較。 - Humanoid-runタスクで最強競合より50%以上のサンプル効率改善を達成。 - HumanoidBenchで14タスク中8タスクを解決(BROは4、SimbaV2は5)。

5. 議論はある?

- 結果は、IMLEベースのマルチモーダリティと不確実性を考慮した重み付けが、安定したmodel-based RLに有用であることを示す。 - 具体的な限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- Implicit Maximum Likelihood Estimation (IMLE) - BRO - SimbaV2 - DeepMind Control - MyoSuite - HumanoidBench

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mehran Aghabozorgi, Alireza Moazeni, Yanshu Zhang, Ke Li

分類: cs.LG, cs.AI

原文アブストラクト

Model-based reinforcement learning promises strong sample efficiency but often underperforms in practice due to compounding model error, unimodal world models that average over multi-modal dynamics, and overconfident predictions that bias learning. We introduce WIMLE, a model-based method that extends Implicit Maximum Likelihood Estimation (IMLE) to the model-based RL framework to learn stochastic, multi-modal world models without iterative sampling and to estimate predictive uncertainty via ensembles and latent sampling. During training, WIMLE weights each synthetic transition by its predicted confidence, preserving useful model rollouts while attenuating bias from uncertain predictions and enabling stable learning. Across $40$ continuous-control tasks spanning DeepMind Control, MyoSuite, and HumanoidBench, WIMLE achieves superior sample efficiency and competitive or better asymptotic performance than strong model-free and model-based baselines. Notably, on the challenging Humanoid-run task, WIMLE improves sample efficiency by over $50$\% relative to the strongest competitor, and on HumanoidBench it solves $8$ of $14$ tasks (versus $4$ for BRO and $5$ for SimbaV2). These results highlight the value of IMLE-based multi-modality and uncertainty-aware weighting for stable model-based RL.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI