日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モーション表現学習arXiv:2607.22702

MIME: マルチモーダル対話型モーションエンコーダ

MIME: Multimodal Interactive Motion Encoder

シェア:XThreadsFacebookLINEはてブBluesky

二人の対話的な動きを言語と関連付けるための、専用のマルチモーダルエンコーダを提案した。

詳しい要約

1. どんなもの?

MIME (Multimodal Interactive Motion Encoder) は、2人組のインタラクティブなモーションに特化した、初めての専用マルチモーダルエンコーダである。テキストとモーションを共通の埋め込み空間に整列させ、個々のアクターのダイナミクスとアクター間の関係の両方を捉える。stream-based co-attention、明示的なインタラクション特徴、カリキュラムベースの対照学習を用いて、個別および共有の構造を表現する。アニメーション、AR/VR、embodied AIなどのマルチパーソンインタラクションを必要とする設定での利用を想定している。

2. 先行研究と比べてどこがすごい?

従来のテキスト・モーション表現学習は主に単一人物のモーションに焦点を当てており、マルチパーソンインタラクションを扱う研究は限られていた。既存のマルチモーダルエンコーダは、個々のアクターのダイナミクスとアクター間の関係を同時に整列させることができなかった。MIMEは、2人組のインタラクティブモーションに特化した最初のエンコーダであり、インタラクション認識型のマルチモーダルエンコーディングを導入することで、モーション検索と下流のモーション生成の両方で性能を向上させる点が新しい。

3. 技術・手法の肝は?

MIMEの技術的な肝は、stream-based co-attentionメカニズムと明示的なインタラクション特徴の統合、およびカリキュラムベースの対照学習である。stream-based co-attentionにより、各アクターのモーションストリームが相互に注意を払いながら、個々のダイナミクスと共有構造を同時に捉える。明示的なインタラクション特徴は、アクター間の関係を直接モデル化する。カリキュラムベースの対照学習は、学習を段階的に難しくすることで、テキストとモーションの整列を強化する。

4. どうやって有効だと検証した?

Inter-Xデータセットを用いたテキスト・モーション検索タスクで評価し、early fusionおよびlate fusionベースラインと比較して、ギャラリーサイズ2,000サンプルでtext-to-motion R@1が12.8%の相対改善を達成した。さらに、TIMotionとInterMaskの凍結された補助事前特徴としてMIMEを評価し、未見のInterHumanデータセットでTIMotionのセマンティックアライメント指標を改善し、FIDを同等に保つことを確認した。

5. 議論はある?

要旨からは、MIMEがモーション検索と下流生成のセマンティックアライメントを改善する一方で、FIDが同等であることから、生成品質とセマンティックアライメントのトレードオフが示唆される。また、MIMEは2人組のインタラクションに特化しているため、3人以上のインタラクションや異なるタイプのインタラクションへの拡張性については不明である。さらに、カリキュラムベースの対照学習の設計選択や、他のモダリティへの適用可能性についての議論は要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されている研究は、TIMotionとInterMask、およびInter-XとInterHumanデータセットである。次に読むべき論文としては、これらの手法を詳述した論文や、マルチパーソンモーション生成のためのベースライン手法、およびテキスト・モーション表現学習の一般的な手法(例えば、MotionCLIPやTMRなど)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Addison Zucek, Prerit Gupta, Kamila Kuatova, Aniket Bera

分類: cs.CV, cs.LG

原文アブストラクト

Text-motion representation learning has advanced rapidly, with growing interest in multi person interactions for animation, AR/VR, and embodied AI. These settings require representations that align language with both individual actor dynamics and the relationships between actors. We introduce the Multimodal Interactive Motion Encoder (MIME), which, to our knowledge, represents the first dedicated multimodal encoder designed specifically for two person interactive motion. MIME captures individual and shared structure using stream based co-attention with explicit interaction features and curriculum based contrastive training. On Inter-X text-motion retrieval, MIME consistently outperforms early and late fusion baselines across gallery sizes, achieving a 12.8% relative improvement in text-to-motion R@1 at a 2,000-sample gallery. We further evaluate MIME as a frozen auxiliary prior within TIMotion and InterMask on the unseen InterHuman dataset. MIME improves semantic alignment metrics while maintaining comparable FID in TIMotion. These results show that interaction aware multimodal encoding improves multi person motion retrieval and transfers across datasets to support downstream motion generation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI