日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

映像理解arXiv:2605.15342

Minerva-Ego: 自己中心映像理解のための時空間ヒント

Minerva-Ego: Spatiotemporal Hints for Egocentric Video Understanding

シェア:XThreadsFacebookLINEはてブBluesky

自己中心視点の映像理解における複雑な推論を評価するベンチマークを新たに構築し、最先端モデルが人間に及ばないことを示すとともに、時空間ヒントを与えることで性能が向上することを明らかにした。

詳しい要約

1. どんなもの?

- 一人称視点の動画理解を評価するベンチマーク Minerva-Ego を提案。 - 既存の動画推論ベンチマークは最終回答のみを評価し、中間推論過程やテキスト以外の出力を評価しない。 - 高品質な一人称/embodied 設定の動画データを拡張し、多段階のマルチモーダル質問と、時空間的に密な人間注釈付き推論トレースを提供。 - 各推論トレースには、質問解決に必要な対象物が spatiotemporal mask として注釈される。

2. 先行研究と比べてどこがすごい?

- 従来のベンチマークは出力(質問への回答)のみを評価し、中間推論ステップを評価しない。 - 多くはテキスト領域のみで回答を提供する。 - Minerva-Ego は、多段階のマルチモーダル質問と時空間的に密な人間注釈付き推論トレースを備え、中間推論過程を評価可能。 - 対象物の spatiotemporal mask 注釈により、モデルが「どこ」「いつ」を見るべきかのヒントを評価に活用できる。

3. 技術・手法の肝は?

- 一人称/embodied 設定で記録された高品質な動画データ源を拡張。 - 挑戦的な多段階マルチモーダル質問を作成。 - 人間による時空間的に密な推論トレースを注釈。 - 各推論トレースに、質問解決に必要な対象物を spatiotemporal mask として注釈。 - この mask をヒントとして frontier models に与えることで性能向上を検証。

4. どうやって有効だと検証した?

- ベンチマーク実験を実施し、state-of-the-art モデルが人間性能に大きなギャップがあることを示す。 - 各推論トレースに spatiotemporal mask 注釈を付与し、広範な評価を実施。 - frontier models に「どこ」「いつ」を見るかのヒントを与えると、性能が大幅に向上することを確認。

5. 議論はある?

- state-of-the-art モデルと人間性能の間に大きなギャップがあることを指摘。 - そのギャップの詳細を調査するため、推論トレースに対象物の spatiotemporal mask 注釈を付与。 - ヒントとして「どこ」「いつ」を見るかを与えることで性能が大幅に改善することを発見。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、egocentric video understanding、video reasoning models、embodied agents、spatiotemporal mask annotations などが挙げられる。 - 同分野の定番として、Ego4D、Epic-Kitchens などの egocentric video データセットや、VideoQA ベンチマークが考えられるが、要旨では具体的に言及されていない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Arsha Nagrani, Jasper Uijilings, Shyamal Buch, Tobias Weyand, Sudheendra Vijayanarasimhan, Bo Hu, Ramin Mehran, David A Ross, Cordelia Schmid

分類: cs.CV, cs.LG

原文アブストラクト

Video reasoning models are a core component of egocentric and embodied agents. However, standard benchmarks for assessing models provide only evaluation of the output (e.g. the answer to a question), without evaluation of intermediate reasoning steps, and most provide answers only in the text domain. We introduce Minerva-Ego, a benchmark for evaluating complex egocentric visual reasoning. We extend recent high-quality video data sources recorded from egocentric / embodied settings with a set of challenging, multi-step multimodal questions and spatiotemporally-dense human-annotated reasoning traces. Benchmarking experiments show that state-of-the-art models still have a large gap to human performance. To investigate this gap in detail, we annotate each reasoning trace in the dataset with the objects of interest required to solve the question, as spatiotemporal mask annotations. Through extensive evaluations, we identify that prompting frontier models with hints of 'where' and 'when' to look yields substantial improvements in performance. Minerva-Ego can be downloaded at https://github.com/google-deepmind/neptune.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI