日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.15160

多様な潜在世界モデルによる効率的なマルチモーダル推論

DLWM: Diverse Latent World Models for Efficient Multimodal Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

視覚入力の複数の解釈を潜在空間で並列に推論し、強化学習で計算資源を適応配分するマルチモーダル推論フレームワークDLWMを提案した。

詳しい要約

1. どんなもの?

- どんなもの? - MLLMsのマルチモーダル推論を効率化するフレームワークDLWM - 連続潜在空間での推論と強化学習を組み合わせる - 視覚入力の複数の解釈を潜在仮説として生成し独立に推論 - 直交性ベースの多様性正則化で仮説崩壊を防止 - リソース制約付き逐次決定問題として定式化 - リソース認識型RLポリシーで計算を適応配分

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 既存手法は単一の潜在解釈を仮定し固定経路・均一計算予算で推論 - DLWMは複数の解釈を探索し仮説ごとに独立推論 - 直交性正則化で仮説崩壊を明示的に防止 - リソース認識RLで拡張・終了・統合を動的に決定 - メモリ使用量を24%削減しつつ精度を2-5ポイント向上

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - 連続潜在空間で多様な潜在世界仮説を構築 - 各仮説が視覚入力の異なる解釈を捉える - 仮説ごとに潜在推論を独立に展開 - 直交性ベースの多様性正則化を導入 - 潜在推論をリソース制約付き逐次決定問題として定式化 - リソース認識型強化学習ポリシーで計算配分を適応制御 - 拡張・終了・統合を動的に決定しメモリとロールアウトを削減

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - 複数のマルチモーダル推論ベンチマークで実験 - 既存手法と比較して精度が2-5ポイント向上 - メモリ使用量が24%削減 - 具体的なベンチマーク名や評価指標は要旨からは不明

5. 議論はある?

- 議論はある? - 要旨からは不明 - 限界や失敗事例、計算コストの詳細な分析は記述なし

6. 次に読むべき論文は?

- 次に読むべき論文は? - 要旨で参照/比較されている研究は明示されていない - 関連手法としてchain-of-thought、continuous latent-space trajectories、reinforcement learning for reasoning - 同分野の定番としてMLLMsのマルチモーダル推論、潜在空間推論、強化学習による計算配分の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: David Huang, Lianlei Shan

分類: cs.CV, cs.LG

原文アブストラクト

Reasoning capabilities of multimodal large language models (MLLMs) have improved considerably in recent years. Existing approaches typically rely on explicit chain-of-thought or continuous latent-space trajectories to enhance multi-step reasoning. However, these methods generally assume that an input admits a single latent interpretation and unfold reasoning along a fixed path or under a uniform computation budget. In real-world multimodal settings, visual observations are often subject to occlusion, blur, viewpoint variation, or semantic ambiguity, giving rise to multiple plausible interpretations. A uniform reasoning strategy not only limits the model's ability to explore multiple hypotheses but also incurs high memory usage and rollout cost. We present DLWM (Diverse Latent World Models), a multimodal reasoning framework that combines latent-space reasoning with reinforcement learning. First, we construct a set of diverse latent world hypotheses in continuous latent space, each capturing a different plausible interpretation of the visual input, and unfold latent reasoning independently on each hypothesis. An orthogonality-based diversity regularizer explicitly prevents hypothesis collapse. Second, we formulate the latent reasoning process as a resource-constrained sequential decision problem and introduce a resource-aware reinforcement learning policy that adaptively allocates computation across hypotheses, dynamically deciding whether to expand, terminate, or merge reasoning paths, thereby substantially reducing memory footprint and improving rollout efficiency. Experiments on multiple multimodal reasoning benchmarks demonstrate that DLWM outperforms existing methods by 2-5 points in accuracy while reducing memory usage by 24%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI