動作理解/ベンチマーク2026/6/3arXiv:2606.04773

NextMotionQA: 視覚言語モデルによる人間動作理解のベンチマークと評価

NextMotionQA: Benchmarking and Judging Human Motion Understanding with Vision-Language Models

人間の動作理解を評価するための新しいベンチマークNextMotionQAを導入し、複数のタスクと難易度レベルで12の視覚言語モデルを評価して、その能力の限界を明らかにした。

詳しい要約

1. どんなもの？

- 人間の動作理解を評価する新ベンチマーク NextMotionQA を提案 - Vision-Language Models (VLMs) を活用し、半自動生成＋専門家検証でデータセット構築 - 3つのタスク: multiple-choice question answering, video captioning, fine-grained error correction - 各タスクは3つの意味軸と3段階の複雑度で層別化 - 12の代表的 VLM を評価し、従来の単一タスク評価では見えない能力ギャップを明らかに - さらに VLM を judge として使う text-to-motion 評価の限界も検証

2. 先行研究と比べてどこがすごい？

- 既存ベンチマークの課題: 意味粒度が粗い、難易度が未分化、アノテーション品質が限定的、回答の曖昧さが蔓延 - これらにより「モデルがどこで失敗するか」を診断できなかった - NextMotionQA は VLM による半自動生成と専門家検証で高品質化 - 3タスク×3意味軸×3複雑度の体系的分類で、きめ細かな診断を可能に - 単一タスク評価では不可視だった弱点を浮き彫りに - VLM judge の text-to-motion 評価における強みと限界も初めて体系的に示す

3. 技術・手法の肝は？

- Vision-Language Models (VLMs) を用いた半自動データセット構築 - 専門家による検証でアノテーション品質を担保 - 3つの補完的タスクを設計: multiple-choice question answering, video captioning, fine-grained error correction - 各タスクを3つの核心的意味軸で構造化 - さらに3段階のタスク複雑度に層別化 - 12の代表的 VLM を広範に評価 - VLM を judge として用い、text-to-motion 評価の coarse/fine 基準での一致度を分析

4. どうやって有効だと検証した？

- 12の代表的 VLM を NextMotionQA で評価し、能力ギャップと弱点を検出 - 従来の単一タスク評価では見えない失敗を明示 - VLM judge の text-to-motion 評価: coarse 基準で専門家評価と強い一致 (Cohen's κ=0.70) - 一方、fine-grained, part-level judgment では一致度が低下 (κ=0.10) - これにより VLM judge パラダイムの有効領域と限界を実証

5. 議論はある？

- VLM judge は coarse な基準では専門家と強く一致するが、fine-grained な部位レベル判断では崩壊 - この結果は VLM judge パラダイムの強みを支持しつつ、その限界を明確化 - 既存ベンチマークの問題点（粗い粒度、難易度未分化、曖昧さ）を克服する必要性を議論 - 単一タスク評価の危うさと、多面的評価の重要性を示唆 - 今後の課題として fine-grained 判断の改善が残る

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: 既存の human motion understanding ベンチマーク（具体的名称は要旨からは不明） - VLM を judge として用いる text-to-motion 評価の最近の研究 - 関連手法: Vision-Language Models (VLMs), text-to-motion evaluation - 同分野の定番: Human Motion Understanding, Embodied AI, Robotics, Animation 関連のベンチマーク

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yong Cao, Chuqiao Li, Xianghui Xie, Gerard Pons-Moll, Andreas Geiger

分類: cs.CV, cs.CL

原文アブストラクト

Reliable evaluation of human motion understanding is fundamental to advancing embodied AI, robotics, and animation. However, existing benchmarks suffer from coarse semantic granularity, undifferentiated difficulty, limited annotation quality, and pervasive answer ambiguity, leaving them unable to diagnose where current models fail. To bridge this gap, we introduce NextMotionQA, a comprehensive benchmark that leverages vision-language models (VLMs) for semi-automated, expert-verified dataset. NextMotionQA features three complementary tasks: multiple-choice question answering, video captioning, and fine-grained error correction. Each task is systematically structured across three core semantic axes and stratified into three task complexity levels. Our extensive evaluation of twelve representative VLMs uncovers critical capability gaps and weakness that remain invisible under conventional, single-task evaluations. In a complementary direction, recent work has begun using VLMs as judges for text-to-motion evaluation; we ask whether they show the same degradation under harder tasks. We find that VLMs align strongly with expert ratings on coarse criteria (Cohen's κ=0.70) but break down on fine-grained, part-level judgment (κ=0.10), validating the paradigm in its strong regime while clarifying its limits.

arXivで原文を読む →arXiv概要ページ

← 論文一覧