日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2504.04550

マルチモーダル大規模言語モデルによる一人称視点動画質問応答の高度化

Advancing Egocentric Video Question Answering with Multimodal Large Language Models

シェア:XThreadsFacebookLINEはてブBluesky

一人称視点動画のQAデータセットQaEgo4Dv2を整備し、4つのMLLMをゼロショットとファインチューニングで評価、オープンソースモデルが新たな最高性能を達成した。

詳しい要約

1. どんなもの?

- Egocentric Video Question Answering (QA) を対象に、proprietary と open-source の Multimodal Large Language Models (MLLMs) を体系的に評価した研究 - QaEgo4D から派生した refined dataset である QaEgo4Dv2 を導入 - GPT-4o, Gemini-1.5-Pro, Video-LLaVa-7B, Qwen2-VL-7B-Instruct の4モデルを zero-shot と fine-tuned の両設定で評価 - OpenQA と CloseQA の両設定を扱う

2. 先行研究と比べてどこがすごい?

- QaEgo4D の annotation noise を軽減するため QaEgo4Dv2 を導入し、より信頼できる比較を可能にした - fine-tuned した Video-LLaVa-7B と Qwen2-VL-7B-Instruct が新たな state-of-the-art を達成 - 従来ベンチマークを OpenQA で最大 +2.6% ROUGE/METEOR、CloseQA で +13% accuracy 上回った

3. 技術・手法の肝は?

- QaEgo4D を基に annotation noise を抑えた QaEgo4Dv2 を構築 - 4つの MLLMs に対し zero-shot と fine-tuned の両アプローチを適用 - OpenQA と CloseQA の両設定で評価を実施 - 詳細な error analysis を実施

4. どうやって有効だと検証した?

- QaEgo4Dv2 上で 4つの MLLMs を zero-shot / fine-tuned、OpenQA / CloseQA で評価 - fine-tuned Video-LLaVa-7B と Qwen2-VL-7B-Instruct が prior benchmarks を上回ることを確認 - error analysis により spatial reasoning と fine-grained object recognition の困難を特定

5. 議論はある?

- error analysis から、モデルは spatial reasoning と fine-grained object recognition が苦手であると指摘 - これらを今後の改善の重要領域として挙げている - その他の議論の詳細は要旨からは不明

6. 次に読むべき論文は?

- QaEgo4D(本論文で refinement の基となったデータセット) - QaEgo4Dv2(本論文が導入したデータセット) - 評価対象の GPT-4o, Gemini-1.5-Pro, Video-LLaVa-7B, Qwen2-VL-7B-Instruct の各論文 - egocentric video QA における spatial reasoning / fine-grained object recognition 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Alkesh Patel, Vibhav Chitalia, Yinfei Yang

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

Egocentric Video Question Answering (QA) requires models to handle long-horizon temporal reasoning, first-person perspectives, and specialized challenges like frequent camera movement. This paper systematically evaluates both proprietary and open-source Multimodal Large Language Models (MLLMs) on QaEgo4Dv2 - a refined dataset of egocentric videos derived from QaEgo4D. Four popular MLLMs (GPT-4o, Gemini-1.5-Pro, Video-LLaVa-7B and Qwen2-VL-7B-Instruct) are assessed using zero-shot and fine-tuned approaches for both OpenQA and CloseQA settings. We introduce QaEgo4Dv2 to mitigate annotation noise in QaEgo4D, enabling more reliable comparison. Our results show that fine-tuned Video-LLaVa-7B and Qwen2-VL-7B-Instruct achieve new state-of-the-art performance, surpassing previous benchmarks by up to +2.6% ROUGE/METEOR (for OpenQA) and +13% accuracy (for CloseQA). We also present a thorough error analysis, indicating the model's difficulty in spatial reasoning and fine-grained object recognition - key areas for future improvement.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI