日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VQA/ベンチマークarXiv:2605.19846

FineBench:細粒度な人間活動理解のための視覚言語モデルのベンチマークと性能向上

FineBench: Benchmarking and Enhancing Vision-Language Models for Fine-grained Human Activity Understanding

シェア:XThreadsFacebookLINEはてブBluesky

長時間動画における細かい人間の動きや相互作用を評価する新しいベンチマークFineBenchを構築し、既存のオープンソースVLMの弱点を特定。さらにモジュール型フレームワークFineAgentを提案して性能を改善した。

詳しい要約

1. どんなもの?

- どんなもの? - FineBench: 人間中心のきめ細かい活動理解を評価するVQAベンチマーク - 199,420個の多肢選択QAペア - 64本の長尺動画(各15分)に密にアノテーション - 焦点: 人物の動き、人物間相互作用、物体操作、複合動作 - FineAgent: VLMsを強化するモジュール型フレームワーク - LocalizerとDescriptorを活用

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 既存の人間中心ベンチマークは公平性/倫理、感情知覚、広範な人間中心指標を評価 - 長尺動画、高密度QA、フレームレベルの時空間グラウンディングを大規模に組み合わせていない - FineBenchはこれらを統合し、きめ細かい理解を評価 - 大規模で密なアノテーション - 複合動作を含む詳細な人物移動、相互作用、物体操作をカバー

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - FineBench: 人間中心のVQAベンチマーク - 64本の長尺動画(各15分)に199,420 QAペアを密にアノテーション - 多肢選択形式 - FineAgent: VLMsを強化するモジュール型フレームワーク - LocalizerとDescriptorを活用 - きめ細かい人間活動理解のための推論を改善

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - FineBenchを用いた広範な評価 - プロプライエタリモデル(例: GPT-5)は良好な性能 - オープンソースVLMsは大幅に性能不足 - 多人数シーンでの空間推論が特に苦手 - 人間の動きや相互作用の微妙な違いの識別が困難 - FineAgentの実験 - 様々なオープンVLMsの性能をFineBench上で一貫して改善

5. 議論はある?

- 議論はある? - 現在のオープンソースVLMsの弱点が明らかに - 多人数シーンでの空間推論 - 微妙な動きや相互作用の区別 - FineBenchは今後のきめ細かい人間中心動画理解研究の厳密なテストベッドを提供 - FineAgentは現在のVLMsにおけるそのような推論を強化する実用的アプローチを提供 - その他の議論や限界については要旨からは不明

6. 次に読むべき論文は?

- 次に読むべき論文は? - 要旨で参照/比較されている研究: - 人間中心ベンチマーク(公平性/倫理、感情知覚、広範な人間中心指標を評価するもの) - GPT-5(プロプライエタリVLMの例) - 関連手法: - Vision-Language Models (VLMs) - モジュール型フレームワーク(LocalizerとDescriptorを活用するもの) - 同分野の定番: - ビデオ質問応答(VQA)ベンチマーク - きめ細かい人間活動理解のためのベンチマーク

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gueter Josmy Faure, Min-Hung Chen, Jia-Fong Yeh, Hung-Ting Su, Winston H. Hsu

分類: cs.CV, cs.AI, cs.CL

原文アブストラクト

Vision-Language Models (VLMs) have demonstrated remarkable capabilities in general video understanding, yet they often struggle with the fine-grained comprehension crucial for real-world applications requiring nuanced interpretation of human actions and interactions. While some recent human-centric benchmarks evaluate aspects of model behaviour such as fairness/ethics, emotion perception, and broader human-centric metrics, they do not combine long-form videos, very dense QA coverage, and frame-level spatial/temporal grounding at scale. To bridge this gap, we introduce FineBench, a human-centric video question answering (VQA) benchmark specifically designed to assess fine-grained understanding. FineBench comprises 199,420 multiple-choice QA pairs densely annotated across 64 long-form videos (15 minutes each), focusing on detailed person movement, person interaction, and object manipulation, including compositional actions. Our extensive evaluation reveals that while proprietary models like GPT-5 achieve respectable performance, current open-source VLMs significantly underperform, struggling particularly with spatial reasoning in multi-person scenes and distinguishing subtle differences in human movements and interactions. To address these identified weaknesses, we propose FineAgent, a modular framework that enhances VLMs by leveraging a Localizer and a Descriptor. Experiments show that FineAgent consistently improves the performance of various open VLMs on FineBench. FineBench provides a rigorous testbed for future research into fine-grained human-centric video understanding, while FineAgent offers a practical approach to enhance such reasoning in current VLMs. Project page and code at https://joslefaure.github.io/assets/html/finebench.html.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI