Talk2Event: イベントカメラによる動的シーンの言語接地理解

- Event camera の非同期ストリームを人間の言語と結びつける、言語駆動型の物体 grounding のための初の大規模ベンチマーク Talk2Event を提案。 - 実世界の運転データから構築。 - 30,000 以上の検証済み referring expression を含む。 - 各表現は appearance、status、relation to viewer、relation to other objects の 4 つの grounding 属性で強化され、空間・時間・関係推論を橋渡しする。 - 併せて属性認識型 grounding フレームワーク EventRefer を提案。 - 対象は event-based perception における動的シーンの言語的理解。

- event camera と言語を結ぶ大規模ベンチマークは従来存在せず、Talk2Event は event-based perception における言語駆動型物体 grounding の最初の大規模ベンチマークと位置づけられる。 - 既存の grounding ベンチマークとの具体的な比較は要旨からは不明。 - EventRefer は event-only、frame-only、event-frame fusion の各設定で state-of-the-art ベースラインに対し一貫した改善を達成したと報告。 - 4 属性の付与により空間・時間・関係推論を扱える点が特徴。

- EventRefer は属性認識型の grounding フレームワーク。 - 複数属性の表現を Mixture of Event-Attribute Experts (MoEE) により動的に融合する。 - appearance、status、relation to viewer、relation to other objects の 4 属性を手がかりとして活用。 - 異なるモダリティやシーン動態に適応する設計。 - 各構成要素の詳細なアーキテクチャは要旨からは不明。

- 実世界の運転データから構築した Talk2Event 上で評価。 - 30,000 以上の検証済み referring expression を使用。 - event-only、frame-only、event-frame fusion の 3 設定で state-of-the-art ベースラインと比較。 - いずれの設定でも一貫した性能向上を確認したと報告。 - 評価指標や実験規模の詳細は要旨からは不明。

- 著者は本データセットと手法が、実世界ロボティクスや自律性におけるマルチモーダル・時間認識・言語駆動型知覚の基盤になると期待。 - 限界や失敗事例、計算コスト、属性設計の妥当性についての具体的議論は要旨からは不明。 - event camera の非同期性と言語接地の難しさが動機として述べられている。

- 要旨で直接参照・比較されている個別研究は明示されていない。 - 関連手法として event-based perception、言語駆動型 object grounding、referring expression comprehension、Mixture of Experts (MoE) 系の研究を挙げる。 - event-frame fusion やマルチモーダル grounding の定番ベースラインも併せて参照すべき。 - 具体的な論文名は要旨からは不明。