日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2512.05927

自分が知らないことを知る世界モデル:校正された不確実性を伴う制御可能な動画生成

World Models That Know When They Don't Know - Controllable Video Generation with Calibrated Uncertainty

シェア:XThreadsFacebookLINEはてブBluesky

制御可能な動画生成モデルに、生成フレームの各領域ごとの信頼度を推定・校正する不確実性定量化手法C3を提案し、幻覚の局所化を可能にした。

詳しい要約

1. どんなもの?

- 指示・行動条件付きのcontrollable video generation(ロボティクスにおけるworld modelingやvideo editing)を対象に、生成フレームの不確実性を推定する手法C3を提案した研究。 - 生成動画が物理現実と乖離するhallucinationを抑制するため、subpatchレベルのdenseなconfidence estimationを可能にする。 - 連続スケールでcalibratedな不確実性を出力し、信頼できない領域を可視化する。

2. 先行研究と比べてどこがすごい?

- 従来のstate-of-the-art video modelsは自身のconfidenceを評価・表現できず、hallucination mitigationを妨げていた。 - C3はvideo modelの不確実性を推定・表現可能にし、calibrated uncertainty estimationとout-of-distribution detectionを実現。 - pixel-spaceではなくlatent spaceで不確実性を推定することで、学習不安定性や膨大な学習コストを回避する点が新しい。

3. 技術・手法の肝は?

- 厳密にproperなscoring rule(strictly proper scoring rules)を用い、video modelをcorrectnessとcalibrationの両面で学習する枠組みを導入。 - 不確実性をlatent spaceで推定し、pixel-space手法の学習不安定性・高コストを回避。 - denseなlatent-space uncertaintyをRGB空間の解釈可能なpixel-level uncertaintyへ写像し、高解像度のuncertainty heatmapとして可視化する。

4. どうやって有効だと検証した?

- 大規模ロボット学習データセットであるBridgeとDROIDを用いた広範な実験を実施。 - 実世界評価(real-world evaluations)も実施。 - 訓練分布内でのcalibratedな不確実性推定に加え、有効なout-of-distribution detectionを実証した。

5. 議論はある?

- 要旨からは不明(hallucinationがrobot policy evaluationやplanningに深刻な懸念をもたらす点は動機として述べられている)。 - 要旨からは不明(限界や失敗ケースに関する議論は明示されていない)。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、controllable video generation、world modeling in robotics、uncertainty quantification (UQ)、strictly proper scoring rules、out-of-distribution detectionに関する文献が次に読む候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhiting Mei, Tenny Yin, Micah Baker, Ola Shorinwa, Anirudha Majumdar

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Recent advances in generative video models have led to significant breakthroughs in high-fidelity video synthesis, specifically in controllable video generation where the generated video is conditioned on text and action inputs, e.g., in instruction-guided video editing and world modeling in robotics. Despite these exceptional capabilities, controllable video models often hallucinate - generating future video frames that are misaligned with physical reality - which raises serious concerns in many tasks such as robot policy evaluation and planning. However, state-of-the-art video models lack the ability to assess and express their confidence, impeding hallucination mitigation. To rigorously address this challenge, we propose C3, an uncertainty quantification (UQ) method for training continuous-scale calibrated controllable video models for dense confidence estimation at the subpatch level, precisely localizing the uncertainty in each generated video frame. Our UQ method introduces three core innovations to empower video models to estimate their uncertainty. First, our method develops a novel framework that trains video models for correctness and calibration via strictly proper scoring rules. Second, we estimate the video model's uncertainty in latent space, avoiding training instability and prohibitive training costs associated with pixel-space approaches. Third, we map the dense latent-space uncertainty to interpretable pixel-level uncertainty in the RGB space for intuitive visualization, providing high-resolution uncertainty heatmaps that identify untrustworthy regions. Through extensive experiments on large-scale robot learning datasets (Bridge and DROID) and real-world evaluations, we demonstrate that our method not only provides calibrated uncertainty estimates within the training distribution, but also enables effective out-of-distribution detection.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI