日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ビデオ理解arXiv:2605.09874

EgoMemReason: 長時間の自己中心視点映像理解のための記憶駆動型推論ベンチマーク

EgoMemReason: A Memory-Driven Reasoning Benchmark for Long-Horizon Egocentric Video Understanding

シェア:XThreadsFacebookLINEはてブBluesky

数日間にわたる自己中心視点映像の理解を評価する新しいベンチマークを提案し、エンティティ記憶、イベント記憶、行動記憶の3種類の記憶に基づく推論をテストする。

詳しい要約

1. どんなもの?

- 長時間のegocentric video理解を評価するベンチマーク - 名称はEgoMemReason - 1週間規模の連続視覚体験を対象 - 記憶駆動型推論を評価 - 3種の記憶を評価 - entity memory: 物体状態の日跨ぎ変化追跡 - event memory: 時間・日単位で離れた活動の想起と順序付け - behavior memory: 疎で反復的な観察からの行動パターン抽象化 - 500問、3記憶タイプ、6コアチャレンジ - 1問あたり平均5.1 video segmentsの証拠 - 平均25.9時間の記憶遡及

2. 先行研究と比べてどこがすごい?

- 既存のweek-long video benchmarksは知覚・認識中心 - moment localization - global summarization - 複数日にまたがる証拠統合を要する推論は未整備 - EgoMemReasonは記憶駆動型推論を体系的に評価 - 3種の記憶タイプを明示的に分離 - 長時間horizonでの性能劣化を分析可能 - 17手法を評価し最良でも39.6%と報告

3. 技術・手法の肝は?

- 1週間egocentric videoを対象としたベンチマーク設計 - 3記憶タイプを評価軸に設定 - entity memory - event memory - behavior memory - 6 core challengesを設定 - 各質問に複数video segmentsの証拠を紐付け - 平均5.1 segments、平均25.9時間の記憶遡及 - MLLMsとagentic frameworksの17手法を評価 - 記憶タイプ別・時間horizon別に性能を分析

4. どうやって有効だと検証した?

- EgoMemReason上で17手法を評価 - MLLMs - agentic frameworks - 最良モデルでもoverall accuracyは39.6% - 3記憶タイプが異なる理由で失敗することを分析 - 証拠の時間spanが長くなるほど性能が低下 - 長時間記憶が未解決であることを示す - ベンチマークとしての有効性を実験的に提示

5. 議論はある?

- 最良でも39.6%でlong-horizon memoryは未解決 - 3記憶タイプの失敗要因はそれぞれ異なる - 証拠の時間horizon拡大に伴い性能劣化 - 既存benchmarksは知覚・認識中心で推論評価が不足 - 記憶の蓄積・想起・順序追跡・パターン抽象化が課題 - 長文脈・記憶考慮型multimodal systemsの基盤を提供 - 具体的な失敗要因の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法としてMLLMs - 関連手法としてagentic frameworks - 同分野の定番としてweek-long video benchmarks - 同分野の定番としてegocentric video understanding - 同分野の定番としてlong-context multimodal systems

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziyang Wang, Yue Zhang, Shoubin Yu, Ce Zhang, Zengqi Zhao, Jaehong Yoon, Hyunji Lee, Gedas Bertasius, Mohit Bansal

分類: cs.CV, cs.AI, cs.CL

原文アブストラクト

Next-generation visual assistants, such as smart glasses, embodied agents, and always-on life-logging systems, must reason over an entire day or more of continuous visual experience. In ultra-long video settings, relevant information is sparsely distributed across hours or days, making memory a fundamental challenge: models must accumulate information over time, recall prior states, track temporal order, and abstract recurring patterns. However, existing week-long video benchmarks are primarily designed for perception and recognition, such as moment localization or global summarization, rather than reasoning that requires integrating evidence across multiple days. To address this gap, we introduce EgoMemReason, a comprehensive benchmark that systematically evaluates week-long egocentric video understanding through memory-driven reasoning. EgoMemReason evaluates three complementary memory types: entity memory, tracking how object states evolve and change across days; event memory, recalling and ordering activities separated by hours or days; and behavior memory, abstracting recurring patterns from sparse, repeated observations over the whole week period. EgoMemReason comprises 500 questions across three memory types and six core challenges, with an average of 5.1 video segments of evidence per question and 25.9 hours of memory backtracking. We evaluate EgoMemReason on 17 methods across MLLMs and agentic frameworks, revealing that even the best model achieves only 39.6% overall accuracy. Further analysis shows that the three memory types fail for distinct reasons and that performance degrades as evidence spans longer temporal horizons, revealing that long-horizon memory remains far from solved. We believe EgoMemReason establishes a strong foundation for evaluating and advancing long-context, memory-aware multimodal systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI