日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ビデオワールドモデルarXiv:2605.25077

WorldCraft: カメラナビゲーションからオブジェクト操作へ - インタラクティブビデオワールドモデルにおける

WorldCraft: From Camera Navigation to Object Manipulation in Interactive Video World Models

シェア:XThreadsFacebookLINEはてブBluesky

ビデオベースのワールドモデルをカメラ操作からオブジェクトレベルの軌跡操作へ拡張するフレームワークを提案。ユーザーのクリックと描画パスに基づき、選択オブジェクトが軌跡に沿って動く未来フレームを生成する。

詳しい要約

1. どんなもの?

- ビデオベースのworld modelを、カメラ操作だけでなく物体操作まで拡張するフレームワークWorldCraftを提案。 - ユーザーのクリックとスケッチした経路に基づき、選択物体が指定軌道に従い、カメラもナビゲートし続ける未来フレームを生成。 - カメラナビゲーションから物体レベル軌道アクションへとインタラクションの行動空間を広げる。

2. 先行研究と比べてどこがすごい?

- 従来のvideo-based world modelはカメラレベルのナビゲーションのみ可能で、個別物体に作用できず受動的観察者に留まっていた。 - WorldCraftは物体レベルの軌道アクションを追加し、物体中心のインタラクションを実現。 - 事前学習済みカメラコントローラを保持しつつ物体操作能力を付与する点が新しい。

3. 技術・手法の肝は?

- 軌道中心の制御パイプラインを採用。 - Normalized World Trajectory (NWT): ユーザー描画運動をカメラ不変のworld座標系で表現し、現在のカメラpose下で再投影。物体運動とカメラ由来のスクリーン空間変位を分離。 - Spatial-Pathway LoRA (SP-LoRA): world空間信号をモデルのspatial-control pathwayに注入し、事前学習済みカメラコントローラを保ちながら物体操作を追加。 - Trajectory-Anchored State Persistence (TASP): world軌道を持続的空間状態として扱い、軌道条件生成後にautoregressive memoryを更新。カメラ視界外に出た物体が更新位置で再出現可能。

4. どうやって有効だと検証した?

- 実験により、WorldCraftが正確な物体制御を可能にすること、カメラのみの評価でvideo-based world modelのカメラ忠実度を保持すること、長いautoregressive rolloutとカメラ視界外への移動を通じて物体状態を維持することを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法としてvideo-based world models、LoRA、autoregressive video generation、camera control in video modelsなどが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bohai Gu, Taiyi Wu, Yueyang Yuan, Jian Liu, Xiaocheng Lu, Dazhao Du, Jie Zhang, Jinxiang Lai, Shuai Yang, Xiaotong Zhao, Alan Zhao, Song Guo

分類: cs.CV

原文アブストラクト

Recent video-based world models have made pixel-space environments interactive at the camera level: users can navigate viewpoints while the model generates coherent visual continuations. Yet their action spaces remain incomplete: users can move the camera, but cannot act on individual objects. Since real-world interaction is inherently object-centric, such models remain closer to passive scene observers than truly manipulable environments. We present WorldCraft, a framework that expands interactive video world models from camera navigation to object-level trajectory actions. Given a user click and a sketched path, WorldCraft generates future frames in which the selected object follows the prescribed trajectory while the camera continues to navigate the scene. WorldCraft achieves this through a trajectory-centric control pipeline: First, Normalized World Trajectory (NWT) represents user-drawn motion in a camera-invariant world coordinate system and dynamically re-projects it under the current camera pose, separating object motion from camera-induced screen-space displacement; Spatial-Pathway LoRA (SP-LoRA) then injects this world-space signal through the model's spatial-control pathway, adding object manipulation capability while preserving the pretrained camera controller; finally, Trajectory-Anchored State Persistence (TASP) treats the world trajectory as a persistent spatial state and refreshes autoregressive memory after trajectory-conditioned generation, allowing moved objects to reappear at their updated positions after leaving the camera view. Experiments show that WorldCraft enables accurate object control, preserves the video-based world model's camera fidelity under camera-only evaluation, and maintains object state across long autoregressive rollouts with off-camera excursions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI