日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2606.00664

SKIP: 効率的な具現化ワールドモデルのためのスパースキーフレーム補間パラダイム

SKIP: Sparse Keyframe Interpolation Paradigm for Efficient Embodied World Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作動画の生成を、タスク関連のキーフレームのみを生成し、残りを補間することで高速化する手法を提案。

詳しい要約

1. どんなもの?

- ロボティクスにおけるembodied world modelsの効率的なrollout推論を目的としたSparse Keyframe Interpolation Paradigm (SKIP)を提案。 - 従来のピクセル空間でのフレーム単位生成の計算コストを削減しつつ、タスクに関連するイベント(approach, contact, grasp, release)を保持する。 - スパースなキーフレームを特定し、スパースビデオ拡散モデルで生成、その後ギャップ予測器とアクション条件付き補間器で密なロールアウトを再構築する。

2. 先行研究と比べてどこがすごい?

- 従来の密なフレーム単位生成と比較して、LIBEROで4.16倍高速かつ視覚的忠実度が向上し、FVDを89.0%削減。 - 生成されたビデオをポリシー訓練データとして使用した場合、実演を完全に置き換えてもπ0.5の成功率低下がLIBEROシミュレーションで1.3pp、実機で6.7ppに留まる。 - 一方、完全密なフレーム単位生成では48〜58ppの崩壊が生じる。

3. 技術・手法の肝は?

- ロボット認識マルチモーダル特徴を活用してタスク関連キーフレームを特定。 - スパースビデオ拡散モデルでキーフレームのみを合成。 - 学習されたギャップ予測器とアクション条件付き補間器により、ロボットアクションに基づいて欠落区間を再構築。

4. どうやって有効だと検証した?

- LIBEROベンチマークで評価。 - 密なベースラインと比較して4.16倍高速、FVDを89.0%削減。 - 生成ビデオをポリシー訓練データとして使用し、π0.5の成功率を測定。シミュレーションで1.3pp低下、実機で6.7pp低下。 - 完全密生成では48〜58ppの崩壊を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている研究:LIBERO, π0.5。 - 関連手法:dense baseline, sparse video diffusion model, action-conditioned interpolator。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziheng He, Yixiang Chen, Ning Yang, Zhanqian Wu, Qisen Ma, Yuan Xu, Jiabing Yang, Peiyan Li, Xiangnan Wu, Xiaofeng Wang, Zheng Zhu, Jing Liu, Nianfeng Liu, Yan Huang

分類: cs.RO, cs.CV

原文アブストラクト

Embodied world models have emerged as a promising paradigm in robotics by predicting how robot actions affect the surrounding scene. However, the rollout inference remains computationally expensive in pixel space, as long-horizon manipulation videos typically have to be generated frame by frame. This cost cannot be easily reduced by indiscriminately dropping frames, since downstream policies rely on complete preservation of sparse task-relevant events such as approach, contact, grasp, and release. To address this challenge, we propose Sparse Keyframe Interpolation Paradigm (SKIP), an event-preserving sparse-to-dense framework that avoids dense frame-by-frame generation. SKIP first identifies task-relevant keyframes by leveraging robot-aware multimodal features. It then synthesizes only these keyframes with a sparse video diffusion model. A learned gap predictor and an action-conditioned interpolator subsequently reconstruct the missing intervals according to the robot actions. On LIBERO, SKIP generates dense rollouts $4.16\times$ faster than a dense baseline while improving visual fidelity and reducing aggregate FVD by $89.0\%$. Importantly, SKIP-generated videos are effective policy-training data. Even when they fully replace real demonstrations, $\pi_{0.5}$ success drops only $1.3$ pp in LIBERO simulation and $6.7$ pp on the real robot, whereas fully dense frame-by-frame generation collapses by $48$ to $58$ pp.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI