日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2512.18619

ChronoDreamer: ロボット計画のためのオンラインシミュレータとしての行動条件付きワールドモデル

ChronoDreamer: Action-Conditioned World Model as an Online Simulator for Robotic Planning

シェア:XThreadsFacebookLINEはてブBluesky

接触の多いロボット操作のため、RGB・接触マップ・行動・関節状態から将来の映像や接触分布を予測するワールドモデルを提案し、VLMによる衝突判定で安全な行動選択を可能にした。

詳しい要約

1. どんなもの?

- 接触の多いロボットマニピュレーションのための action-conditioned world model - 入力: egocentric RGB フレーム履歴、contact maps、actions、joint states - 出力: 将来の video frames、contact distributions、joint angles を予測 - 推論時は予測 rollout を vision-language model が評価し、衝突可能性を判断して unsafe な action を rejection sampling で除外 - DreamerBench 上で学習・評価

2. 先行研究と比べてどこがすごい?

- 先行研究との具体的比較は要旨からは不明 - 特徴として、contact を depth-weighted Gaussian splat images として符号化し vision backbone に適合させる点、MaskGIT-style masked prediction を用いる点、VLM による collision reasoning を planning に組み込む点が挙げられる - これらが既存手法と比べどこで優位かは要旨からは不明

3. 技術・手法の肝は?

- spatial-temporal transformer を MaskGIT-style masked prediction で学習 - contact を depth-weighted Gaussian splat images として 3D forces を camera-aligned 形式にレンダリング - 履歴から future video frames、contact distributions、joint angles を予測 - 推論時に予測 rollout を vision-language model が collision likelihood について推論し、rejection sampling で unsafe action を除外

4. どうやって有効だと検証した?

- DreamerBench で学習・評価 - DreamerBench は Project Chrono で生成された simulation dataset で、RGB、contact splat、proprioception、physics annotations を rigid/deformable object scenarios で同期提供 - 定性結果として、非接触運動中の spatial coherence 保持と plausible な contact predictions を確認 - LLM-based judge が collision と non-collision の trajectory を区別できることを示した

5. 議論はある?

- 定性的には spatial coherence と contact prediction の妥当性、VLM judge の collision 判別を示す - 定量評価の詳細や限界、失敗ケース、real-world 適用性については要旨からは不明 - 議論の詳細は要旨からは不明

6. 次に読むべき論文は?

- DreamerBench および Project Chrono 関連の研究 - MaskGIT - Gaussian splatting - vision-language model を用いた robotic planning / collision reasoning 関連研究 - action-conditioned world model の代表的手法(例: Dreamer 系)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenhao Zhou, Dan Negrut

分類: cs.AI, cs.RO

原文アブストラクト

We present ChronoDreamer, an action-conditioned world model for contact-rich robotic manipulation. Given a history of egocentric RGB frames, contact maps, actions, and joint states, ChronoDreamer predicts future video frames, contact distributions, and joint angles via a spatial-temporal transformer trained with MaskGIT-style masked prediction. Contact is encoded as depth-weighted Gaussian splat images that render 3D forces into a camera-aligned format suitable for vision backbones. At inference, predicted rollouts are evaluated by a vision-language model that reasons about collision likelihood, enabling rejection sampling of unsafe actions before execution. We train and evaluate on DreamerBench, a simulation dataset generated with Project Chrono that provides synchronized RGB, contact splat, proprioception, and physics annotations across rigid and deformable object scenarios. Qualitative results demonstrate that the model preserves spatial coherence during non-contact motion and generates plausible contact predictions, while the LLM-based judge distinguishes collision from non-collision trajectories.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI