イベントカメラ/事前学習2026/3/1arXiv:2603.23032

基盤モデル整合による生成的イベント事前学習

Generative Event Pretraining with Foundation Model Alignment

イベントカメラのデータに、画像基盤モデルの知識を整合させつつ、時系列生成事前学習を行う2段階フレームワークを提案し、認識・セグメンテーション・深度推定などで最先端性能を達成した。

詳しい要約

1. どんなもの？

- イベントカメラのための視覚基盤モデル（VFM）を学習する新手法「GEP」を提案。 - 2段階のフレームワークで、インターネット規模の画像データセットから意味知識を転移し、イベント固有の時間ダイナミクスを学習。 - 第1段階でイベントエンコーダを凍結VFMに位置合わせし、第2段階でTransformerを自己回帰事前学習。 - 物体認識、セグメンテーション、深度推定など多様な下流タスクで最先端性能を達成。

2. 先行研究と比べてどこがすごい？

- 従来のイベント事前学習手法と比較して、多様な下流タスクで最先端性能を上回る。 - 画像VFMの意味知識をイベントデータに転移することで、ラベル付きイベントデータの不足を補う。 - イベント固有の時間構造を捉える生成モデリングを組み合わせ、意味的に豊かで時間認識型のモデルを実現。 - ドメイン間で堅牢に汎化する点が優れている。

3. 技術・手法の肝は？

- 2段階フレームワーク：第1段階では、イベントエンコーダを凍結VFMにjoint regression-contrastive目的で位置合わせし、イベント特徴を画像意味空間に接地。 - 第2段階では、Transformerバックボーンを混合イベント-画像シーケンスで自己回帰事前学習し、イベント固有の時間構造を捕捉。 - VFMガイド付きアラインメントと生成シーケンスモデリングを組み合わせる点が肝。

4. どうやって有効だと検証した？

- 物体認識、セグメンテーション、深度推定を含む多様な下流タスクで評価。 - 最先端のイベント事前学習手法と比較し、性能が上回ることを示した。 - ドメイン間での汎化性能も検証。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていないが、関連手法としてイベント事前学習の最先端手法やVFM（例：CLIP, DINO）が挙げられる。 - 同分野の定番として、イベントベースの自己教師あり学習手法（例：EventContrast, EST）や画像VFM（例：MAE, BEiT）が次に読むべき論文として考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianwen Cao, Jiaxu Xing, Nico Messikommer, Davide Scaramuzza

分類: cs.CV, cs.RO

原文アブストラクト

Event cameras provide robust visual signals under fast motion and challenging illumination conditions thanks to their microsecond latency and high dynamic range. However, their unique sensing characteristics and limited labeled data make it challenging to train event-based visual foundation models (VFMs), which are crucial for learning visual features transferable across tasks. To tackle this problem, we propose GEP (Generative Event Pretraining), a two-stage framework that transfers semantic knowledge learned from internet-scale image datasets to event data while learning event-specific temporal dynamics. First, an event encoder is aligned to a frozen VFM through a joint regression-contrastive objective, grounding event features in image semantics. Second, a transformer backbone is autoregressively pretrained on mixed event-image sequences to capture the temporal structure unique to events. Our approach outperforms state-of-the-art event pretraining methods on a diverse range of downstream tasks, including object recognition, segmentation, and depth estimation. Together, VFM-guided alignment and generative sequence modeling yield a semantically rich, temporally aware event model that generalizes robustly across domains.

arXivで原文を読む →arXiv概要ページ

← 論文一覧