日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデル/探索arXiv:2604.18701

好奇心批評家:累積予測誤差の改善を利用した世界モデル学習のための扱いやすい内的報酬

Curiosity-Critic: Cumulative Prediction Error Improvement as a Tractable Intrinsic Reward for World Model Training

シェア:XThreadsFacebookLINEはてブBluesky

世界モデルの累積予測誤差の改善を内的報酬とする手法を提案し、現在の遷移の予測誤差と漸近誤差ベースラインの差という扱いやすい代理報酬を導入した。確率的グリッドワールドで既存手法より高速かつ高精度な学習を実証した。

詳しい要約

1. どんなもの?

- 世界モデル訓練のための好奇心報酬手法「Curiosity-Critic」を提案。 - 累積予測誤差の改善を内在的報酬とし、各ステップで計算可能な代理指標を導出。 - 現在の予測誤差と漸近誤差ベースラインの差を報酬とする。 - ベースラインは世界モデルと共訓練するcriticでオンライン推定。 - 確率的グリッドワールドで有効性を検証。

2. 先行研究と比べてどこがすごい?

- 従来の局所的な予測誤差好奇心は現在の遷移のみ考慮し、累積誤差を無視。 - 提案手法は累積目的の改善に基づき、学習可能な遷移に探索を誘導。 - 確率的遷移では報酬がゼロに収束し、認識論的誤差と偶然的誤差をオンライン分離。 - Schmidhuber (1991) から learned-feature-space 変種までの先行手法が、誤差ベースラインの特定の近似として特殊ケースになることを示す。 - 実験で prediction-error, visitation-count, Random Network Distillation より訓練速度と最終世界モデル精度で優位。

3. 技術・手法の肝は?

- 累積予測誤差の改善を内在的報酬とする。 - 各ステップの代理報酬:現在の予測誤差と漸近誤差ベースラインの差。 - ベースラインを推定するcriticを世界モデルと共訓練。 - criticは遷移の予測困難さ(還元不能ノイズフロア)を学習し、世界モデル飽和前に収束。 - これにより学習可能な遷移で報酬が高く、確率的遷移でゼロに近づく。

4. どうやって有効だと検証した?

- 確率的グリッドワールドでの実験。 - 訓練速度と最終世界モデル精度を評価。 - 比較手法:prediction-error, visitation-count, Random Network Distillation。 - 提案手法がこれらを上回ることを示した。

5. 議論はある?

- 要旨からは不明。 - ただし、criticの収束特性や報酬設計の理論的保証、他の環境への一般化可能性などが議論の余地として考えられる。

6. 次に読むべき論文は?

- Schmidhuber (1991) の予測誤差好奇心。 - learned-feature-space 変種(例:Random Network Distillation)。 - visitation-count 手法。 - 世界モデル訓練における好奇心報酬の関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Vin Bhaskara, Haicheng Wang

分類: cs.LG, cs.AI, stat.ML

原文アブストラクト

Local prediction-error-based curiosity rewards focus on the current transition without considering the world model's cumulative prediction error across all visited transitions. We introduce Curiosity-Critic, which grounds its intrinsic reward in the improvement of this cumulative objective, and show that it admits a tractable per-step surrogate: the difference between the current prediction error and the asymptotic error baseline of the current state transition. We estimate this error baseline online with a learned critic co-trained alongside the world model; since the critic only has to learn how hard a transition is to predict, its estimate of the irreducible noise floor converges well before the world model saturates, redirecting exploration toward learnable transitions. The reward is higher for learnable transitions and collapses toward zero for stochastic ones, thereby separating epistemic (reducible) from aleatoric (irreducible) prediction error online. Prior prediction-error curiosity formulations, from Schmidhuber (1991) to learned-feature-space variants, emerge as special cases corresponding to specific approximations of this error baseline. Experiments on a stochastic grid world show that Curiosity-Critic outperforms prediction-error, visitation-count, and Random Network Distillation methods in training speed and final world model accuracy.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI