日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2606.27326

世界モデルにおける幻覚は予測可能であり、防止可能である

Hallucination in World Models is Predictable and Preventable

シェア:XThreadsFacebookLINEはてブBluesky

生成的世界モデルが幻覚を起こす現象を、データカバレッジの観点から分析し、幻覚を検出するシグナルと、それを用いたデータ収集・ファインチューニング手法を提案した論文。

詳しい要約

1. どんなもの?

- 現代の生成的世界モデルは、行動制御可能な未来をますますリアルに描画するが、しばしば幻覚(hallucination)を起こす。 - 幻覚とは、ロールアウトが視覚的に流暢でありながら、真のダイナミクスから逸脱することである。 - 本研究では、幻覚が状態行動空間の低カバレッジ領域に集中するという仮説を立て、それを検証する。 - そのために、MMBench2という427時間・210タスクのデータセットを導入し、350Mパラメータの世界モデルを訓練した。 - 幻覚を予測・防止するためのデータ中心の信号を開発し、カバレッジを考慮したサンプリングと好奇心報酬による適応手法を提案する。

2. 先行研究と比べてどこがすごい?

- 従来の世界モデル研究では、幻覚はアーキテクチャや訓練の不安定性に起因すると考えられがちだった。 - 本研究は、幻覚がデータカバレッジの問題であることを示し、軽量なデータ中心の信号で検出・緩和できることを明らかにした。 - 先行研究と比べて、幻覚を3つのモード(知覚的、行動周辺化、シーン発散)に分類し、それぞれをパイプラインの異なる段階に紐付けた点が新しい。 - また、幻覚予測子を好奇心報酬としてオンラインでデータ収集に活用し、50の実環境軌道だけで未見環境に適応できることを示した。

3. 技術・手法の肝は?

- MMBench2データセットを構築し、真の行動、報酬、ライブシミュレータを提供する。 - 350Mパラメータの世界モデルを訓練し、幻覚を3モードに分類する。 - 各モードに対応する3つの信号を開発し、モデルが失敗する場所を正確に予測する。 - 訓練時のカバレッジギャップを埋めるために、カバレッジ考慮型サンプリングを開発。 - オンラインでは、幻覚予測子を好奇心報酬として用い、ターゲットデータ収集を誘導する。 - これにより、事前訓練済み世界モデルを未見環境に少数の実軌道で適応させるデータ効率的なファインチューニングレシピを実現。

4. どうやって有効だと検証した?

- MMBench2データセット上で350Mパラメータの世界モデルを訓練し、幻覚の3モードを特定。 - 開発した3つの信号が、モデルの失敗を正確に予測することを検証。 - カバレッジ考慮型サンプリングと好奇心報酬によるデータ収集が、幻覚を緩和することを示す。 - 50の実環境軌道のみで、事前訓練済み世界モデルを未見環境に適応できることを実証。 - これらの結果から、幻覚がデータカバレッジ問題であり、検出信号が緩和にも使えることを確認。

5. 議論はある?

- 幻覚がデータカバレッジに起因するという仮説を支持する結果が得られた。 - 幻覚の3モードはパイプラインの異なる段階に由来し、それぞれに対処が必要である。 - 検出と緩和に同じ信号を利用できるという点が重要である。 - ただし、要旨からは、他の要因(例:モデル容量、訓練アルゴリズム)の影響や、他のデータセットへの一般化可能性については不明である。 - また、50軌道での適応がどの程度の性能かを定量的に示す情報は要旨にはない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、world models、generative models、reinforcement learning、curiosity-driven exploration、data coverage、hallucination detectionなどが挙げられる。 - 同分野の定番として、Dreamer、PlaNet、World Models (Ha & Schmidhuber) などが考えられるが、要旨には具体的な論文名はない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nicklas Hansen, Xiaolong Wang

分類: cs.LG, cs.CV, cs.RO

原文アブストラクト

Modern generative world models render increasingly realistic action-controllable futures, yet they frequently hallucinate: rollouts remain visually fluent while drifting from the ground-truth dynamics. We hypothesize that hallucination concentrates in low-coverage regions of the state-action space, where lightweight data-centric signals can both detect it and guide mitigation. To test this, we introduce MMBench2, a 427-hour, 210-task dataset for visual world modeling with ground-truth actions, rewards, and live simulators, and train a 350M-parameter world model on it. We identify three distinct hallucination modes: perceptual, action-marginalized, and scene-diverging -- each anchored to a different stage of the pipeline, and develop three signals that accurately predict where the model will fail. To close coverage gaps at training time, we develop a coverage-aware sampling technique; to close them online, our hallucination predictors serve as curiosity rewards for targeted data collection, yielding a data-efficient finetuning recipe that adapts the pretrained world model to entirely unseen environments with as few as 50 real environment trajectories. Overall, our findings reveal that hallucination in world models is inherently a data coverage issue, and that the same signals used to detect it can also be used for mitigation. An interactive web version of our paper is available at https://www.nicklashansen.com/mmbench2

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI