日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作生成arXiv:2603.13082

InterEdit: テキスト誘導による3D二人組動作編集

InterEdit: Navigating Text-Guided 3D Dyadic Human Motion Editing

シェア:XThreadsFacebookLINEはてブBluesky

テキスト指示に従って二人の3D動作を編集する新タスクを提案し、専用データセットと拡散モデルベースの手法を構築した。

詳しい要約

1. どんなもの?

- テキスト指示に基づく3D人間動作編集を、単一人物から複数人物(dyadic)へ拡張するタスクを提案。 - ソース動作とテキストからターゲット動作を生成する。 - 手動で二人の動作変更アノテーションを付与したInterEdit3Dデータセットと、Text-guided Multi-human Motion Editing (TMME)ベンチマークを構築。 - 同期型classifier-free conditional diffusion modelであるInterEditを提案。

2. 先行研究と比べてどこがすごい?

- 従来のテキスト誘導3D動作編集は単一人物が中心で、複数人物設定は未探索。 - 限られたペアデータと人物間相互作用の複雑さが課題。 - InterEditはTMMEにおいてstate-of-the-art性能を達成し、テキストと動作の一貫性および編集忠実度を向上。

3. 技術・手法の肝は?

- 同期型classifier-free conditional diffusion modelを採用。 - Semantic-Aware Plan Token Alignment:学習可能なトークンで高レベル相互作用の手がかりを捉える。 - Interaction-Aware Frequency Token Alignment:DCTとenergy poolingを用いて周期的な動作ダイナミクスをモデル化。

4. どうやって有効だと検証した?

- TMMEベンチマークで実験を実施。 - テキストと動作の一貫性および編集忠実度の向上を確認。 - state-of-the-art TMME性能を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の関連手法として、単一人物向けtext-guided 3D motion editingやclassifier-free diffusion model、DCTベースの動作モデリングに関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yebin Yang, Di Wen, Lei Qi, Weitong Kong, Junwei Zheng, Ruiping Liu, Yufan Chen, Chengzhi Wu, Kailun Yang, Yuqian Fu, Danda Pani Paudel, Luc Van Gool, Kunyu Peng

分類: cs.CV, cs.RO, eess.IV

原文アブストラクト

Text-guided 3D motion editing has seen success in single-person scenarios, but its extension to multi-person settings is less explored due to limited paired data and the complexity of inter-person interactions. We introduce the task of multi-person 3D motion editing, where a target motion is generated from a source and a text instruction. To support this, we propose InterEdit3D, a new dataset with manual two-person motion change annotations, and a Text-guided Multi-human Motion Editing (TMME) benchmark. We present InterEdit, a synchronized classifier-free conditional diffusion model for TMME. It introduces Semantic-Aware Plan Token Alignment with learnable tokens to capture high-level interaction cues and an Interaction-Aware Frequency Token Alignment strategy using DCT and energy pooling to model periodic motion dynamics. Experiments show that InterEdit improves text-to-motion consistency and edit fidelity, achieving state-of-the-art TMME performance. The dataset and code will be released at https://github.com/YNG916/InterEdit.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI