人間のように映画を観る：身体化されたコンパニオンのための自己中心視点の感情理解

- 映画を鑑賞する embodied companion 向けの感情理解タスクを扱う研究。 - ロボットは映画を native な cinematic footage ではなく、egocentric な screen-view インターフェース越しに知覚する点に着目。 - この設定で生じる viewpoint distortion、scale variation、illumination changes、environmental interference などの domain shift を問題化。 - 最初の benchmark dataset として EgoScreen-Emotion (ESE) を導入。 - ESE は 224 本の movie trailer を controlled egocentric screen-view 条件下で収録し、28,667 の temporally aligned key-frame を含む。 - 複数 rater による confidence-aware multi-label protocol で感情の曖昧さに対応。 - さらに mu…

- 既存の movie emotion understanding 研究はほぼ cinematic footage 上でのみ実施されており、実世界の視聴シナリオへの cross-domain generalization が限定的だった。 - 本研究は egocentric screen-view movie emotion understanding という未開拓設定を初めて benchmark 化。 - ESE はこの設定に特化した最初の dataset であると主張。 - cross-domain 実験で cinematic footage 学習モデルが Macro-F1 27.99 から 16.69 へ低下する severe domain gap を定量的に示した。 - ESE で学習すると realistic viewing conditions 下での robustness が大幅に改善。 - 強い closed-source multimodal models と比較しても competitive な性能を達成。

- multimodal long-context emotion reasoning framework を構築。 - temporal visual evidence をモデル化。 - narrative summaries を利用。 - compressed historical context を扱う。 - audio cues を統合。 - ESE では controlled egocentric screen-view 条件下で movie trailer を収録。 - 28,667 の temporally aligned key-frame に複数 rater が confidence-aware multi-label protocol で注釈。 - 感情の曖昧さを confidence 付き multi-label で表現。

- ESE を用いた cross-domain 実験を実施。 - cinematic footage で学習したモデルを realistic egocentric screen-view observations で評価し、Macro-F1 が 27.99 から 16.69 へ低下する domain gap を確認。 - ESE で学習することで realistic viewing conditions 下の robustness が大幅に改善することを示した。 - 提案手法を strong closed-source multimodal models と比較し、competitive な性能を確認。 - これにより domain-specific data と long-context multimodal reasoning の重要性を示唆。

- cinematic footage と egocentric screen-view の間に severe domain gap が存在することを議論。 - domain-specific data の重要性を強調。 - long-context multimodal reasoning の重要性を強調。 - 感情の曖昧さに対処するため confidence-aware multi-label protocol を採用。 - 具体的な限界や失敗事例、計算コスト、倫理的懸念については要旨からは不明。

- 要旨で参照・比較されている具体的な先行研究名は明示されていない。 - 関連手法として cinematic footage 上の movie emotion understanding、multimodal long-context reasoning、closed-source multimodal models が挙げられる。 - 同分野の定番として movie emotion recognition、egocentric vision、multimodal sentiment analysis に関する研究を次に読むべき。 - 具体的な論文名は要旨からは不明。