日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ビデオQA/自己中心視点arXiv:2604.01966

自己中心映像におけるパーソナライズ質問応答のための自我接地

Ego-Grounding for Personalized Question-Answering in Egocentric Videos

シェア:XThreadsFacebookLINEはてブBluesky

自己中心映像中のカメラ装着者を理解する能力(自我接地)を評価する初のデータセットMyEgoを構築し、既存のマルチモーダル大規模言語モデルがこのタスクで人間に大きく劣ることを示した。

詳しい要約

1. どんなもの?

- 一人称視点動画における個人化質問応答(personalized QA)を評価するため、初の体系的解析を提示。 - カメラ装着者を理解する ego-grounding 能力に焦点。 - 新データセット MyEgo を導入:541本の長尺動画と5Kの個人化質問(「私のもの」「私の活動」「私の過去」)。 - MLLMs の理解・記憶・推論能力を評価する。

2. 先行研究と比べてどこがすごい?

- 従来の egocentric VideoQA データセットは個人化質問や ego-grounding を明示的に評価していない。 - MyEgo は初の個人化質問応答に特化した egocentric VideoQA データセット。 - 多様な MLLMs(オープンソース/プロプライエタリ、thinking/non-thinking、小規模/大規模)をベンチマークし、性能限界を明らかに。

3. 技術・手法の肝は?

- MyEgo データセットの構築:541本の長尺 egocentric 動画と5Kの個人化質問。 - 質問カテゴリ:「my things」「my activities」「my past」。 - MLLMs のベンチマーク評価を実施。 - 関連証拠を明示的に与えた場合の性能変化も分析。

4. どうやって有効だと検証した?

- 複数の MLLMs を MyEgo で評価。 - トップの closed-source(例:GPT-5)は約46%、open-source(例:Qwen3-VL)は約36%の精度。 - 人間性能と比較してそれぞれ約40%、50%低い。 - 明示的推論やモデルスケーリングは一貫した改善をもたらさない。 - 関連証拠を与えると改善するが、時間経過とともに利得が減少。

5. 議論はある?

- ego-grounding と長距離記憶が個人化 QA に不可欠であることを強調。 - 現在の MLLMs は「私」や「私の過去」の追跡・記憶に限界。 - 明示的推論やスケーリングだけでは不十分。 - 今後の研究方向として ego-grounding と長距離記憶の改善を提案。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:GPT-5、Qwen3-VL などの MLLMs。 - 関連手法:egocentric VideoQA、personalized QA、MLLMs。 - 同分野の定番:Ego4D、EgoSchema などの egocentric データセット。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junbin Xiao, Shenglang Zhang, Pengxiang Zhu, Angela Yao

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

We present the first systematic analysis of multimodal large language models (MLLMs) in personalized question-answering requiring ego-grounding - the ability to understand the camera-wearer in egocentric videos. To this end, we introduce MyEgo, the first egocentric VideoQA dataset designed to evaluate MLLMs' ability to understand, remember, and reason about the camera wearer. MyEgo comprises 541 long videos and 5K personalized questions asking about "my things", "my activities", and "my past". Benchmarking reveals that competitive MLLMs across variants, including open-source vs. proprietary, thinking vs. non-thinking, small vs. large scales all struggle on MyEgo. Top closed- and open-source models (e.g., GPT-5 and Qwen3-VL) achieve only~46% and 36% accuracy, trailing human performance by near 40% and 50% respectively. Surprisingly, neither explicit reasoning nor model scaling yield consistent improvements. Models improve when relevant evidence is explicitly provided, but gains drop over time, indicating limitations in tracking and remembering "me" and "my past". These findings collectively highlight the crucial role of ego-grounding and long-range memory in enabling personalized QA in egocentric videos. We hope MyEgo and our analyses catalyze further progress in these areas for egocentric personalized assistance. Data and code are available at https://github.com/Ryougetsu3606/MyEgo

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI