日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2512.06628

MIND-V: 物理整合のための強化学習を用いた階層型ワールドモデルによる長期的ロボットマニピュレーション

MIND-V: Hierarchical World Model for Long-Horizon Robotic Manipulation with RL-based Physical Alignment

シェア:XThreadsFacebookLINEはてブBluesky

認知科学に着想を得た階層型ワールドモデルMIND-Vを提案し、物理的に妥当で論理的に一貫した長期的ロボット操作動画を合成する。強化学習による物理整合でSOTAを達成。

詳しい要約

1. どんなもの?

- 長期的なロボット操作(long-horizon robotic manipulation)の動画を合成する認知階層型world model「MIND-V」 - 高レベル推論とピクセル生成を橋渡しする3要素で構成 - Semantic Reasoning Hub (SRH): 事前学習済みvision-language modelによるタスク計画 - Behavioral Semantic Bridge (BSB): 抽象指示をドメイン不変表現へ変換 - Motor Video Generator (MVG): 条件付き動画レンダリング - 物理的に妥当で論理的に一貫した長期的操作動画の生成を目指す

2. 先行研究と比べてどこがすごい?

- 既存のvideo world modelは短いクリップ・単純動作に限定され、手動定義のtrajectoryに依存 - MIND-Vは階層的設計により長期的(long-horizon)操作動画の合成へ拡張 - テスト時最適化のStaged Visual Future Rolloutsで長期ロバスト性を向上 - GRPO強化学習のpost-trainingと新規Physical Foresight Coherence (PFC) rewardで物理法則遵守を強化 - 実験でlong-horizon simulationのSOTAとpolicy learningへの有用性を報告

3. 技術・手法の肝は?

- 認知科学に着想した階層構造 - SRHがvision-language modelでタスク計画を立案 - BSBが抽象指示をドメイン不変表現に変換 - MVGが条件付きで動画を生成 - Staged Visual Future Rollouts: テスト時最適化で長期ロバスト性を強化 - GRPOによる強化学習post-trainingを実施 - Physical Foresight Coherence (PFC) reward: V-JEPA2 world modelを物理refereeとして用い、latent feature空間で非物理的ダイナミクスにペナルティ

4. どうやって有効だと検証した?

- long-horizon simulationにおけるSOTA性能を実験で確認したと記載 - policy learningに対する有意な価値を示したと記載 - 具体的なベンチマーク名・データセット名・比較手法・指標は要旨からは不明

5. 議論はある?

- 多様で長期的なロボット操作データの不足という課題に対し、スケーラブルで完全自律的なembodied data synthesis枠組みを提示 - 物理法則遵守をV-JEPA2をrefereeとするPFC rewardで担保する設計上の議論 - 限界・失敗事例・計算コスト・定量比較の詳細は要旨からは不明

6. 次に読むべき論文は?

- V-JEPA2 (PFC rewardの物理refereeとして使用) - GRPO (強化学習post-training手法) - vision-language modelを用いたタスク計画の関連研究 - video world modelによるロボット操作データ合成の先行研究(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruicheng Zhang, Mingyang Zhang, Jun Zhou, Xiaofan Liu, Zunnan Xu, Zhizhou Zhong, Puxin Yan, Haocheng Luo, Xiu Li

分類: cs.RO, cs.CV

原文アブストラクト

Scalable embodied intelligence is constrained by the scarcity of diverse, long-horizon robotic manipulation data. Existing video world models in this domain are limited to synthesizing short clips of simple actions and often rely on manually defined trajectories. To this end, we introduce MIND-V, a cognitive hierarchical world model designed to synthesize physically plausible and logically coherent videos of long-horizon robotic manipulation. Inspired by cognitive science, MIND-V bridges high-level reasoning with pixel-level synthesis through three core components: a Semantic Reasoning Hub (SRH) that leverages a pre-trained vision-language model for task planning; a Behavioral Semantic Bridge (BSB) that translates abstract instructions into domain-invariant representations; and a Motor Video Generator (MVG) for conditional video rendering. MIND-V employs Staged Visual Future Rollouts, a test-time optimization strategy to enhance long-horizon robustness. To enforce adherence to physical laws, we introduce a GRPO reinforcement learning post-training phase guided by a novel Physical Foresight Coherence (PFC) reward. PFC leverages the V-JEPA2 world model as a physics referee to penalize implausible dynamics in the latent feature space. Experiments confirm MIND-V's SOTA performance in long-horizon simulation and its significant value for policy learning, introducing a scalable and fully autonomous framework for embodied data synthesis.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI