日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画生成arXiv:2607.05994

SparseCtrl-HOI: 人間と物体のインタラクション動画生成のためのスパース時間制御

SparseCtrl-HOI: Sparse Temporal Control for Human-Object Interaction Video Generation

シェア:XThreadsFacebookLINEはてブBluesky

人間と物体のインタラクション動画生成において、少数のキーフレームと高レベルな動作プリエントのみを用いて、物理的に妥当な遷移を生成するスパース時間制御フレームワークを提案した。

詳しい要約

1. どんなもの?

SparseCtrl-HOIは、Human-Object Interaction (HOI) ビデオ生成のためのスパースな時間制御フレームワークである。指定されたタイムスタンプでの少数のキーフレームのみを入力として、人間と物体のインタラクションを含むリアルなビデオを生成する。ライブストリーミングeコマース向けの高品質なビデオ合成を目指す。

2. 先行研究と比べてどこがすごい?

既存手法はフレーム単位の手と物体のポーズ系列などの密な時間的ガイダンスを必要とし、注釈コストが高く、モーション合成の多様性を損なう。SparseCtrl-HOIは、少数のキーフレームのみを必要とするスパースな制御を導入し、注釈コストを大幅に削減しつつ、生成の多様性を向上させる点が新しい。

3. 技術・手法の肝は?

手法の核は2つ。1つ目はTime-Controlled Rotary Positional Embedding (TiRoPE) で、キーフレームを時間的にアンカーしつつ空間的整合性を保つ。2つ目はMotion Prior Injection Moduleで、Multimodal Large Language Models (MLLMs) を用いて高レベルのモーションプライアを抽出し、中間フレームの物理的に妥当な遷移を生成する。また、スパース制御用のデータセットSparseHOI-5Kを構築した。

4. どうやって有効だと検証した?

SparseHOI-5Kデータセットを用いた包括的な評価により、注釈オーバーヘッドの削減と、ライブストリーミングeコマースビデオの合成品質の向上を実証した。具体的な評価指標や比較対象は要旨からは不明。

5. 議論はある?

要旨からは、スパース制御による生成の多様性向上と注釈コスト削減の利点が示唆されるが、キーフレームの選択方法や、複雑なインタラクションでの物理的整合性の限界などについての議論は明記されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、HOIビデオ生成の分野では、密な時間的ガイダンスを用いた既存手法(例:フレーム単位のポーズ条件付き生成モデル)や、MLLMsを利用したモーション生成に関する研究が関連する。具体的には、Video Diffusion ModelsやHuman-Object Interactionのためのポーズ推定・生成に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shenbo Xie, Mingrui Cai, Xu Yang, Yifei Liu, Changxing Ding

分類: cs.CV

原文アブストラクト

Human-Object Interaction (HOI) video generation aims to synthesize realistic videos of humans manipulating diverse objects, serving as a promising avenue for AI-driven live streaming e-commerce. A primary obstacle in this domain lies in the complexity of modeling fine-grained physical dynamics and the intricate spatial-temporal coordination between human hands and objects. Existing approaches to this problem typically rely on dense temporal guidance, e.g., frame-wise hand-object pose sequences, to strictly control the interaction process. However, such dense guidance incurs high annotation costs and affects motion synthesis diversity. To overcome these limitations, we introduce SparseCtrl-HOI, a novel sparse temporal control framework for HOI video generation. It requires only a few keyframes that capture interaction states at designated timestamps. Specifically, we employ a Time-Controlled Rotary Positional Embedding (TiRoPE) mechanism to temporally anchor these keyframes while preserving their spatial integrity. Subsequently, to govern the dynamics across intermediate frames, we propose a Motion Prior Injection Module that leverages Multimodal Large Language Models (MLLMs) to extract high-level motion priors. This empowers the model to hallucinate logically and physically plausible transitions. Furthermore, we build SparseHOI-5K, a high-quality and richly annotated dataset for HOI video generation with sparse temporal control. Comprehensive evaluations confirm that our method substantially reduces annotation overhead while synthesizing superior live-streaming e-commerce videos. Both our code and dataset are publicly available at https://mpi-lab.github.io/SparseCtrl-HOI.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI