EgoCoT-Bench：MLLMの接地・検証可能な操作中心推論のベンチマーク

- 一人称視点の egocentric video 理解を対象にした MLLMs 向けベンチマーク EgoCoT-Bench を提案。 - 351 本の egocentric videos から 3,172 の検証可能な QA ペアを構築。 - 4 つの task groups（計 12 sub-task groups）に分類し、perception and retrospection、anticipation、high-level reasoning を包含。 - 各 QA には step-by-step rationale の注釈を付与し、grounded かつ verifiable な operation-centric reasoning を評価する。

- 既存の egocentric video benchmarks は grounded rationale evaluation が限定的で、fine-grained operation-centric reasoning を十分に支援せず、rationale が明示的な spatio-temporal evidence に基づくかをほとんど検証していなかった。 - EgoCoT-Bench は明示的な step-by-step rationale 注釈を備え、grounded で verifiable な reasoning を評価できる点が異なる。 - 4 task groups・12 sub-task groups に細分化し、perception and retrospection、anticipation、high-level reasoning を網羅する。

- spatio-temporal scene graphs (STSG) guided generation framework によりベンチマークを構築。 - 生成後、human annotators が correctness、egocentric relevance、fine-grained quality を担保するため refinement を実施。 - 各 QA に step-by-step rationale を注釈として付与し、grounded で verifiable な評価を可能にする。

- 実験結果により、egocentric fine-grained reasoning には依然として困難があることを示した。 - 多くの multimodal models が answer-correct でありながら、その evidence が answer と inconsistent である説明を生成することを明らかにした。 - これにより grounded かつ verifiable な reasoning の testbed としての有用性を示唆。

- egocentric fine-grained reasoning の継続的な難しさが議論されている。 - 多くの multimodal models が answer-correct でも evidence が answer と inconsistent であるという問題を指摘。 - EgoCoT-Bench が grounded で verifiable な reasoning の testbed になり得ると期待されている。 - 具体的な限界や今後の課題の詳細は要旨からは不明。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として spatio-temporal scene graphs (STSG) を挙げる。 - 同分野の定番として egocentric video understanding や Multimodal Large Language Models (MLLMs) の既存ベンチマークを読むべき。 - 具体的な論文名は要旨からは不明。