日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画編集arXiv:2606.30599

Goku: 命令ベース動画編集のための100万規模のユニバーサルデータセットとベンチマーク

Goku: A Million-Scale Universal Dataset and Benchmark for Instruction-Based Video Editing

シェア:XThreadsFacebookLINEはてブBluesky

複雑な編集指示に応えるため、200万ペアの大規模データセットと、マスク分岐と外観レンダリング分岐を分離したデュアルブランチモデルを構築し、新ベンチマークで性能を検証した論文。

詳しい要約

1. どんなもの?

本論文は、instruction-based video editing のための大規模データセット Goku と、その上で学習するモデル Goku-Edit、評価用ベンチマーク Goku-Bench を提案する。 - Goku は 2 million の高品質で instruction に整合した video editing pair からなる。 - 従来の appearance editing に加え、multi-task および structural manipulation(例:被写体の動きの精密制御)へタスク境界を拡張した初の試み。 - Goku-Bench は 1,000 件の人手検証済みテストケースと 7 つの新規編集特化指標を含む。

2. 先行研究と比べてどこがすごい?

既存の instruction-based video editing データセットは単一タスクの appearance editing に偏り、実世界の複雑な創作要求に応えられない。 - Goku は 2 million 規模で、multi-task と structural manipulation まで対象を拡張した点が新しい。 - Goku-Edit は Goku-Bench 上で他のオープンソースモデルに対して instruction following で最大 +8% の改善を示す。

3. 技術・手法の肝は?

複雑な編集のデータ合成を可能にする効率的なパイプラインを設計。 - 複雑な編集を制御可能な sub-problem に分解する。 - 全過程でデータ信頼性を担保する progressive filtering system を導入。 - Goku-Edit は MLLM を text encoder として採用し、decoupled dual-branch 設計をとる。 - mask branch が structural control を担当。 - main branch は appearance rendering に専念。

4. どうやって有効だと検証した?

Goku-Bench を用いて評価。 - 1,000 件の人手検証済みテストケースと 7 つの新規編集特化指標で構成。 - Goku-Edit は他のオープンソースモデルと比較し、instruction following で最大 +8% の改善を達成。

5. 議論はある?

要旨からは不明。 - データ合成パイプラインの限界や、structural manipulation の一般化性能、計算コストなどについての議論は要旨に記載がない。

6. 次に読むべき論文は?

要旨で参照・比較されている研究は明示されていない。 - 関連手法として、instruction-based video editing の既存データセットや、MLLM を text encoder に用いる手法、dual-branch 設計の動画編集モデルが挙げられる。 - 同分野の定番として、text-to-video editing や diffusion-based video editing の研究を次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sen Liang, Cong Wang, Zhentao Yu, Fengbin Guan, Zhengguang Zhou, Teng Hu, Youliang Zhang, Yuan Zhou, Xin Li, Qinglin Lu, Zhibo Chen

分類: cs.CV

原文アブストラクト

Existing instruction-based video editing datasets commonly focus on single-task appearance editing, failing to meet the complex creative demands of real-world scenarios. To bridge this gap, we present Goku, a large-scale dataset featuring 2 million high-quality, instruction-aligned video editing pairs, which is the first to extend task boundaries from basic appearance editing to multi-task and structural manipulations(e.g., precise control of subject movement). To tackle the data synthesis challenges inherent in these complex tasks, we design an efficient data synthesis pipeline that decomposes complex edits into controllable sub-problems and introduce a progressive filtering system for data reliability throughout the whole process. Furthermore, we explore the optimal network structures on Goku, and propose Goku-Edit. To deeply comprehend complex editing instructions, Goku-Edit leverages an MLLM as its text encoder and adopts a decoupled dual-branch design: a dedicated mask branch handles structural control, freeing the main branch for appearance rendering. A comprehensive video editing benchmark, Goku-Bench, is also proposed with 1,000 human-verified test cases and 7 novel editing-specific metrics. Evaluated on Goku-Bench, Goku-Edit obtains up to +8% improvement on other open-source models in terms of instruction following.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI