イベントカメラ/クロスモーダル学習2026/5/1arXiv:2605.00271

REALM: RGBとイベントを整列する潜在多様体によるクロスモーダル知覚

REALM: An RGB- and Event-Aligned Latent Manifold for Cross-Modal Perception

イベントカメラのデータをRGB基盤モデルの潜在空間に写像するフレームワークを提案し、事前学習済みのRGBバックボーンをイベントデータに活用して、深度推定やセマンティックセグメンテーションなどのタスクを実現する。

詳しい要約

1. どんなもの？

- REALMは、RGBとEventの潜在空間を整列させるクロスモーダルフレームワーク。 - Event表現をRGB基盤モデルの事前学習済み潜在空間に投影する。 - タスク特化型学習ではなく、LoRAでモダリティギャップを橋渡し。 - 凍結したRGBバックボーンの幾何・意味的事前知識を非同期Eventストリームに活用。 - 深度推定や意味セグメンテーションなどの下流タスクを線形ヘッドの転移で実行。 - MASt3Rのような凍結画像学習デコーダを生Eventデータにゼロショット適用可能。 - 広基線特徴マッチングで最先端性能を達成。

2. 先行研究と比べてどこがすごい？

- 既存のEvent処理はタスク特化型でモダリティ間の汎化が欠如。 - REALMはRGB基盤モデルの潜在空間を活用し、クロスモーダル汎化を実現。 - タスク特化型学習を不要にし、線形ヘッドの転移で下流タスクを実行。 - 凍結画像学習デコーダをゼロショットでEventデータに適用可能にした点が新しい。 - 広基線特徴マッチングで特化型アーキテクチャを大幅に上回る性能を達成。

3. 技術・手法の肝は？

- Event表現をRGB基盤モデルの事前学習済み潜在空間に投影する。 - LoRAを用いてモダリティギャップを橋渡し。 - 凍結したRGBバックボーンの幾何・意味的事前知識を活用。 - ViTベースの基盤潜在空間にEventをマッピング。 - 下流タスクはRGB教師で訓練した線形ヘッドを転移して実行。 - 複雑な凍結画像学習デコーダ（例：MASt3R）を生Eventデータにゼロショット適用。

4. どうやって有効だと検証した？

- REALMがEventをViTベースの基盤潜在空間に効果的にマッピングすることを実証。 - 深度推定と意味セグメンテーションの下流タスクで検証。 - 広基線特徴マッチングで最先端性能を達成し、特化型アーキテクチャを大幅に上回る。 - コードとモデルは公開されている。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- MASt3R（ゼロショット適用された凍結画像学習デコーダ） - ViTベースのRGB基盤モデル（具体的名称は要旨からは不明） - LoRA（Low-Rank Adaptation） - 広基線特徴マッチングの特化型アーキテクチャ（具体的名称は要旨からは不明）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Vincenzo Polizzi, David B. Lindell, Jonathan Kelly

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Event cameras provide several unique advantages over standard frame-based sensors, including high temporal resolution, low latency, and robustness to extreme lighting. However, existing learning-based approaches for event processing are typically confined to narrow, task-specific silos and lack the ability to generalize across modalities. We address this gap with REALM, a cross-modal framework that learns an RGB- and Event-Aligned Latent Manifold by projecting event representations into the pretrained latent space of RGB foundation models. Instead of task-specific training, we leverage low-rank adaptation (LoRA) to bridge the modality gap, effectively unlocking the geometric and semantic priors of frozen RGB backbones for asynchronous event streams. We demonstrate that REALM effectively maps events into the ViT-based foundation latent space. Our method performs downstream tasks, such as depth estimation and semantic segmentation, by simply transferring linear heads trained on the RGB teacher. Most significantly, REALM enables the direct, zero-shot application of complex, frozen image-trained decoders, such as MASt3R, to raw event data. We demonstrate state-of-the-art performance in wide-baseline feature matching, significantly outperforming specialized architectures. Code and models are available at https://papers.starslab.ca/realm/.

arXivで原文を読む →arXiv概要ページ

← 論文一覧