高速特徴場(F³): イベントデータの予測的表現
Fast Feature Field ($\text{F}^3$): A Predictive Representation of Events
イベントカメラのデータから過去のイベントを基に未来のイベントを予測することで、シーン構造と動きの情報を保持する高速な表現F³を学習し、光流推定・セマンティックセグメンテーション・単眼深度推定で最先端性能を達成した論文。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Richeek Das, Kostas Daniilidis, Pratik Chaudhari
分類: cs.CV, cs.AI, cs.LG, cs.RO
原文アブストラクト
This paper develops a mathematical argument and algorithms for building representations of data from event-based cameras, that we call Fast Feature Field ($\text{F}^3$). We learn this representation by predicting future events from past events and show that it preserves scene structure and motion information. $\text{F}^3$ exploits the sparsity of event data and is robust to noise and variations in event rates. It can be computed efficiently using ideas from multi-resolution hash encoding and deep sets - achieving 120 Hz at HD and 440 Hz at VGA resolutions. $\text{F}^3$ represents events within a contiguous spatiotemporal volume as a multi-channel image, enabling a range of downstream tasks. We obtain state-of-the-art performance on optical flow estimation, semantic segmentation, and monocular metric depth estimation, on data from three robotic platforms (a car, a quadruped robot and a flying platform), across different lighting conditions (daytime, nighttime), environments (indoors, outdoors, urban, as well as off-road) and dynamic vision sensors (resolutions and event rates). Our implementations can predict these tasks at 25-75 Hz at HD resolution.
関連論文
- 効率的なイベントカメラボリュームシステムイベントカメラ
- 動きを考慮したイベントカメラのイベント抑制イベントカメラ
- イベントカメラでドメインギャップを埋めるイベントカメラ
- スパイキングパッチ：イベントカメラのための非同期・スパース・効率的トークン化イベントカメラ
- VibES: 持続的なイベントベースセンシングのための誘起振動イベントカメラ
- UAVリアルタイム知覚のためのイベントベース高速強度再構成手法イベントカメラ
