日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作生成・評価arXiv:2507.19684

CoMPAS3D: インタラクティブ動作のためのデータセットとベンチマーク

CoMPAS3D: A Dataset and Benchmark for Interactive Motion

シェア:XThreadsFacebookLINEはてブBluesky

社交ダンスのサルサを題材に、ペアで即興する人間の動作を3時間分・18人分収録し、動作の明瞭さや相手の熟練度への適合性を評価するフレームワークとベンチマークを提案した。

詳しい要約

1. どんなもの?

- Salsa を題材にした対話的モーション生成のためのデータセットと評価フレームワーク - 即興のペア Salsa を motion capture した CoMPAS3D を提示 - 18 名のダンサー(beginner/intermediate/professional)による 3 時間の即興を収録 - 2,800 以上の expert-annotated segments(move types, errors, stylistic elements) - 評価フレームワークは kinematic quality、2 つの objective metrics(move legibility, proficiency appropriateness)、6 つの competition-based subjective dimensions から成る - 3 つの benchmark を定義: move classification、proficiency estimation、follower generation

2. 先行研究と比べてどこがすごい?

- 既存の評価フレームワークは FID や beat alignment などの kinematic metrics に依存し、shared movement vocabulary 内での legibility や partner の proficiency への appropriateness を測れない - 既存データセットには move annotations と proficiency variation が欠けている - CoMPAS3D は move annotations と proficiency の幅を持つデータを提供し、legibility と proficiency appropriateness を測る objective metrics を導入 - これらの metrics により、kinematic metrics では見逃す生成の失敗を検出できると報告

3. 技術・手法の肝は?

- Salsa を評価ドメインとして採用: improvised, dyadic で、move vocabulary と judging criteria(timing, musicality, technique, difficulty, partnering, originality)に支配される - motion capture による即興ペア Salsa のデータ収集と expert annotation(move types, errors, stylistic elements) - 評価は kinematic quality、2 つの objective metrics(move legibility, proficiency appropriateness)、6 つの competition-based subjective dimensions で構成 - benchmark は move classification(transcription に相当)、proficiency estimation(fluency assessment に相当)、follower…

4. どうやって有効だと検証した?

- Fine-tuned vision-language models が ground-truth motion sequences に対する objective metrics で強い性能を示した - Duolando と InterGen に metrics を適用し、kinematic metrics が見逃す失敗を明らかにした - Human evaluations により、生成モーションと ground-truth motion の間のギャップを確認 - 具体的な数値や被験者数は要旨からは不明

5. 議論はある?

- 生成 follower motion の legibility と proficiency appropriateness を測る評価の必要性を指摘 - kinematic metrics だけでは捉えられない失敗があることを Duolando/InterGen への適用で示す - Human evaluations と objective metrics の関係や、competition-based subjective dimensions の扱いは要旨からは不明 - データセット・annotation・benchmark code・baseline results は公開予定と記載

6. 次に読むべき論文は?

- Duolando(本論文で評価対象として比較) - InterGen(本論文で評価対象として比較) - FID や beat alignment を用いる既存の interactive motion generation 評価研究(個別名は要旨からは不明) - Salsa の judging criteria や move vocabulary に関する文献(要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bermet Burkanova, Yasaman Etesam, Payam Jome Yazdian, Trinity Evans, Chuxuan Zhang, Zoe Stanley, Paige Tuttösí, Angelica Lim

分類: cs.LG, cs.AI, cs.CL, cs.CV

原文アブストラクト

Socially interactive humanoid robots must engage with humans through their bodies, adapting in real time to a partner's movement, intent, and abilities. This requires models that understand not just how bodies move, but what movement means in a shared social context. Yet evaluation frameworks for interactive motion generation do not measure whether generated follower motion is legible within a shared movement vocabulary, nor whether it is appropriate to the partner's proficiency level. This gap has two causes: existing frameworks rely on kinematic metrics such as FID and beat alignment that cannot measure either property, and existing datasets lack the move annotations and proficiency variation needed. Salsa is well-suited as an evaluation domain: improvised, dyadic, and governed by a move vocabulary and judging criteria covering timing, musicality, technique, difficulty, partnering, and originality. We present CoMPAS3D, a motion capture dataset of improvised partner salsa paired with an evaluation framework covering kinematic quality, two objective metrics (move legibility and proficiency appropriateness), and six competition-based subjective dimensions. The dataset includes 3 hours of improvisation by 18 dancers spanning beginner, intermediate, and professional levels, with over 2,800 expert-annotated segments covering move types, errors, and stylistic elements. We define three benchmarks: move classification (analogous to transcription), proficiency estimation (fluency assessment), and follower generation (dialogue response). Fine-tuned vision-language models perform strongly on objective metrics applied to ground-truth motion sequences. Applied to Duolando and InterGen, the metrics reveal failures that kinematic metrics miss. Human evaluations confirm the gap between generated and ground-truth motion. CoMPAS3D, annotations, benchmark code, and baseline results are publicly available.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI