日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2604.07426

GIRL: 情報理論的幻覚制御による生成的想像強化学習

GIRL: Generative Imagination Reinforcement Learning via Information-Theoretic Hallucination Control

シェア:XThreadsFacebookLINEはてブBluesky

モデルベース強化学習において、想像上のロールアウトのドリフトを防ぐため、凍結された基盤モデルからのクロスモーダルな接地信号と不確実性適応型の信頼領域ボトルネックを導入した新しい潜在世界モデルフレームワークを提案した。

詳しい要約

1. どんなもの?

- 提案手法: GIRL (Generative Imagination Reinforcement Learning) - Model-based reinforcement learning (MBRL) の枠組み - latent world-model を用いた想像ロールアウトで方策を最適化 - 課題: 長期ホライズン計画でモデル誤差が蓄積し、想像軌道が訓練多様体から逸脱 - 解決: 2つの主要コンポーネントで想像のドリフトを制御 - cross-modal grounding signal (frozen foundation model DINOv2 由来) - uncertainty-adaptive trust-region bottleneck - 対象: 連続制御・操作タスク (DeepMind Control, Adroit Hand Manipulation, Meta-World)

2. 先行研究と比べてどこがすごい?

- 先行研究: DreamerV3, TD-MPC2 などの MBRL 手法 - 比較優位: - DreamerV3 に対し latent rollout drift を 38〜61% 削減 - 漸近リターン改善、長期タスクで環境相互作用を削減 - TD-MPC2 に対し sparse-reward および high-contact 設定で標準評価指標で優位 - 理論面: 割引率が1に近づいても有効な value-gap bound を再導出 - Performance Difference Lemma と Integral Probability Metrics を使用 - 目的関数を実環境 regret に接続 - 効率面: distilled-prior variant で推論オーバーヘッド削減・計算効率改善

3. 技術・手法の肝は?

- latent world-model フレームワーク - コンポーネント1: cross-modal grounding signal - frozen foundation model (DINOv2) から取得 - latent transition prior を意味的に一貫した埋め込み空間に固定 - 不整合・非現実的な予測にペナルティ - コンポーネント2: uncertainty-adaptive trust-region bottleneck - KL regularizer を制約付き最適化問題の Lagrange multiplier として解釈 - Expected Information Gain と Relative Performance Loss 信号で校正された学習領域内に想像ドリフトを制限 - 理論: Performance Difference Lemma と Integral Probability Metrics で value-gap bound を再導出 - 派生: distilled-prior variant で推論コ…

4. どうやって有効だと検証した?

- ベンチマーク: DeepMind Control, Adroit Hand Manipulation, Meta-World (visual distractors 付き) - 指標: - latent rollout drift: DreamerV3 比 38〜61% 削減 - 漸近リターン: 改善 - 環境相互作用数: 長期タスクで削減 - TD-MPC2 比較: sparse-reward および high-contact 設定で標準評価指標で優位 - 効率検証: distilled-prior variant が full model 比で推論オーバーヘッド削減・計算効率改善

5. 議論はある?

- 理論的貢献: 割引率が1に近づいても有効な value-gap bound を提示 - Performance Difference Lemma と Integral Probability Metrics を利用 - 目的関数と実環境 regret の接続を議論 - 実用面: distilled-prior variant による推論オーバーヘッド削減と計算効率改善を議論 - 限界・課題: 要旨からは不明 - 計算コスト、スケーラビリティ、他タスクへの一般化などは明示されず

6. 次に読むべき論文は?

- DreamerV3 (比較対象) - TD-MPC2 (比較対象) - DINOv2 (frozen foundation model として利用) - Performance Difference Lemma 関連研究 - Integral Probability Metrics 関連研究 - Expected Information Gain 関連研究 - Model-based reinforcement learning (MBRL) の一般的な関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Prakul Sunil Hiremath

分類: cs.LG, cs.AI

原文アブストラクト

Model-based reinforcement learning (MBRL) improves sample efficiency by optimizing policies inside imagined rollouts, but long-horizon planning degrades when model errors compound and imagined trajectories drift off the training manifold. We introduce GIRL (Generative Imagination Reinforcement Learning), a latent world-model framework that addresses this failure mode with two key components. First, a cross-modal grounding signal derived from a frozen foundation model (DINOv2) anchors the latent transition prior to a semantically consistent embedding space, penalizing inconsistent or implausible predictions. Second, an uncertainty-adaptive trust-region bottleneck interprets the KL regularizer as the Lagrange multiplier of a constrained optimization problem, restricting imagination drift within a learned region calibrated by Expected Information Gain and a Relative Performance Loss signal. We re-derive a value-gap bound using the Performance Difference Lemma and Integral Probability Metrics, yielding a bound that remains informative as the discount factor approaches one and connects the objective to real-environment regret. Experiments across three benchmark suites, including DeepMind Control, Adroit Hand Manipulation, and Meta-World with visual distractors, show that GIRL reduces latent rollout drift by 38 to 61 percent across tasks relative to DreamerV3, improves asymptotic return, and requires fewer environment interactions on long-horizon tasks. GIRL also outperforms TD-MPC2 on sparse-reward and high-contact settings under standard evaluation metrics. A distilled-prior variant reduces inference overhead and improves computational efficiency relative to the full model.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI