ビデオ理解/ベンチマーク2026/5/18arXiv:2605.18734

EgoExoMem: 同期した自己中心・他者中心ビデオにわたるクロスビュー記憶推論

EgoExoMem: Cross-View Memory Reasoning over Synchronized Egocentric and Exocentric Videos

自己中心視点と他者中心視点の同期ビデオを用いたクロスビュー記憶推論のベンチマークを新たに構築し、既存のマルチモーダルLLMでは困難であることを示した。また、学習不要のフレーム選択手法E^2-Selectを提案し、ベースラインを上回る性能を達成した。

詳しい要約

1. どんなもの？

- EgoExoMemは、同期されたegocentricとexocentricの動画を用いたcross-view memory reasoningのための初のベンチマーク。 - 8種類の時間的・空間的・cross-viewのQAタイプにわたる2.6Kの高品質なMCQを含む。 - 二視点検索を支援するため、E$^2$-Selectというtraining-freeのフレーム選択手法を提案。 - 既存のMLLMでは最高でも55.3%の正解率にとどまり、課題の難しさを示す。

2. 先行研究と比べてどこがすごい？

- 従来のegocentric memoryは包括的な時空間推論に不十分であることを指摘。 - 人間のfieldとobserverの両視点からの想起に着想を得て、初のcross-view memory reasoningベンチマークを構築。 - 既存のフレーム選択やRAGベースのメモリベースラインを上回るstate-of-the-art性能（58.2%）を達成。 - 質問の枠組みと回答の根拠の間に体系的な視点選好の衝突があることを明らかにし、新規性と難しさを強調。

3. 技術・手法の肝は？

- E$^2$-Selectはtraining-freeのフレーム選択手法。 - 関連性に基づく予算配分と、視点ごとのk-DPPサンプリングを組み合わせる。 - 視点の非対称性とcross-viewの時間的一貫性に対処する。 - 同期されたego-exo動画の二視点検索を可能にする。

4. どうやって有効だと検証した？

- EgoExoMemベンチマーク上で実験を実施。 - 既存のMLLMの最高性能は55.3%であることを示す。 - E$^2$-Selectがフレーム選択およびRAGベースのメモリベースラインに対して58.2%のstate-of-the-art性能を達成。 - 分析により、質問の枠組みと回答の根拠の間の体系的な視点選好の衝突を明らかにした。

5. 議論はある？

- ego視点とexo視点は補完的なメモリ手がかりを提供する。 - 既存のMLLMはベンチマークを解くには程遠い。 - 質問の枠組みと回答の根拠の間に体系的な視点選好の衝突が存在する。 - cross-view memory reasoningの新規性と挑戦を強調。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：フレーム選択手法、RAGベースのメモリベースライン、MLLM。 - 同分野の定番：egocentric memory、embodied intelligence、cross-view reasoningに関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruiping Liu, Junwei Zheng, Yufan Chen, Di Wen, Shaofang Quan, Chengzhi Wu, Jiaming Zhang, Kailun Yang, Kunyu Peng, Rainer Stiefelhagen

分類: cs.CV

原文アブストラクト

Egocentric memory is widely used in embodied intelligence, but it may be insufficient for comprehensive spatial-temporal reasoning. Inspired by human recall from both field and observer perspectives, we introduce EgoExoMem, the first benchmark for cross-view memory reasoning over synchronized egocentric and exocentric videos. EgoExoMem contains $2.6K$ high-quality MCQs across eight temporal, spatial, and cross-view QA types. To support dual-view retrieval, we propose E$^2$-Select, a training-free frame selection method for synchronized ego-exo videos. It combines relevance-based budget allocation with per-view k-DPP sampling to handle view asymmetry and cross-view temporal consistency. Experiments show that ego and exo views provide complementary memory cues, while existing MLLMs remain far from solving the benchmark: the best model reaches only $55.3\%$. E$^2$-Select achieves state-of-the-art performance of $58.2\%$ over frame-selection and RAG-based memory baselines. Further analysis reveals systematic view-preference conflicts between question framing and answer grounding, underscoring the novelty and challenge of cross-view memory reasoning.

arXivで原文を読む →arXiv概要ページ

← 論文一覧