日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチモーダル相互作用arXiv:2509.05747

InterAct: 日常場面における2人間の動的で表現豊かなインタラクティブ活動の大規模データセット

InterAct: A Large-Scale Dataset of Dynamic, Expressive and Interactive Activities between Two People in Daily Scenarios

シェア:XThreadsFacebookLINEはてブBluesky

2人が日常場面で協力して行う長時間のインタラクティブな活動を、音声・身体動作・表情のマルチモーダルで収録した大規模データセットを構築し、音声から両者の表情と身体動作を生成する拡散モデル手法も提案した。

詳しい要約

1. どんなもの?

- 日常シナリオにおける2人のインタラクティブな行動を正確に捉える問題に取り組む。 - 従来研究は1人または会話ジェスチャーのみを対象とし、体の向きや位置が固定と仮定していた。 - 提案するInterActは、2人が現実的で一貫したシナリオを1分以上演じる241のモーションシーケンスからなるマルチモーダルデータセット。 - 各シーケンスで2人の俳優に異なる役割と感情ラベルを割り当て、協力してタスクを完了または共通のインタラクティブ活動を行う。 - 音声、体の動き、顔の表情を両者についてキャプチャ。

2. 先行研究と比べてどこがすごい?

- 従来は1人または会話ジェスチャーのみを対象とし、体の向きや位置が固定またはほとんど変化しないと仮定していた。 - 提案手法は2人の活動を同時にモデル化し、目的駆動型で動的、意味的に一貫したインタラクションを対象とする。 - これにより、より長い時間と広い空間をカバーするインタラクションを扱える。 - InterActは多様で複雑な個人の動きと、これまでほとんど見られなかった長期的なインタラクションパターンを含む。

3. 技術・手法の肝は?

- 音声入力から2人のインタラクティブな顔表情と体の動きを推定する、シンプルかつ効果的な拡散ベースの手法を提案。 - 体の動きは階層的に回帰。 - 顔表情のリップ精度を向上させるための新しいファインチューニング機構を提案。 - データとコードは公開。

4. どうやって有効だと検証した?

- 提案する拡散ベース手法の有効性を、InterActデータセットを用いて検証。 - 具体的な評価指標や比較実験の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 会話ジェスチャー生成に関する研究(例:Speech2Gesture) - 2人のインタラクションを扱うデータセット(例:Talking With Hands) - 拡散モデルを用いたモーション生成(例:MDM) - 音声からの顔表情生成(例:FaceFormer)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Leo Ho, Yinghao Huang, Dafei Qin, Mingyi Shi, Wangpok Tse, Wei Liu, Junichi Yamagishi, Taku Komura

分類: cs.CV, cs.AI, cs.LG, cs.MA, cs.RO

原文アブストラクト

We address the problem of accurate capture of interactive behaviors between two people in daily scenarios. Most previous works either only consider one person or solely focus on conversational gestures of two people, assuming the body orientation and/or position of each actor are constant or barely change over each interaction. In contrast, we propose to simultaneously model two people's activities, and target objective-driven, dynamic, and semantically consistent interactions which often span longer duration and cover bigger space. To this end, we capture a new multi-modal dataset dubbed InterAct, which is composed of 241 motion sequences where two people perform a realistic and coherent scenario for one minute or longer over a complete interaction. For each sequence, two actors are assigned different roles and emotion labels, and collaborate to finish one task or conduct a common interaction activity. The audios, body motions, and facial expressions of both persons are captured. InterAct contains diverse and complex motions of individuals and interesting and relatively long-term interaction patterns barely seen before. We also demonstrate a simple yet effective diffusion-based method that estimates interactive face expressions and body motions of two people from speech inputs. Our method regresses the body motions in a hierarchical manner, and we also propose a novel fine-tuning mechanism to improve the lip accuracy of facial expressions. To facilitate further research, the data and code is made available at https://hku-cg.github.io/interact/ .

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI