FE-DeTr: イベントカメラを活用した低品質画像フレームでのキーポイント検出と追跡
FE-DeTr: Keypoint Detection and Tracking in Low-quality Image Frames with Events
画像フレームのテクスチャ情報とイベントストリームの高時間分解能な動き情報を融合し、低品質画像でも頑健にキーポイントを検出・追跡するネットワークFE-DeTrを提案した。
著者: Xiangyuan Wang, Kuangyi Chen, Wen Yang, Lei Yu, Yannan Xing, Huai Yu
分類: cs.RO
原文アブストラクト
Keypoint detection and tracking in traditional image frames are often compromised by image quality issues such as motion blur and extreme lighting conditions. Event cameras offer potential solutions to these challenges by virtue of their high temporal resolution and high dynamic range. However, they have limited performance in practical applications due to their inherent noise in event data. This paper advocates fusing the complementary information from image frames and event streams to achieve more robust keypoint detection and tracking. Specifically, we propose a novel keypoint detection network that fuses the textural and structural information from image frames with the high-temporal-resolution motion information from event streams, namely FE-DeTr. The network leverages a temporal response consistency for supervision, ensuring stable and efficient keypoint detection. Moreover, we use a spatio-temporal nearest-neighbor search strategy for robust keypoint tracking. Extensive experiments are conducted on a new dataset featuring both image frames and event data captured under extreme conditions. The experimental results confirm the superior performance of our method over both existing frame-based and event-based methods.
関連論文
- 効率的なイベントカメラボリュームシステムイベントカメラ
- 動きを考慮したイベントカメラのイベント抑制イベントカメラ
- イベントカメラでドメインギャップを埋めるイベントカメラ
- スパイキングパッチ:イベントカメラのための非同期・スパース・効率的トークン化イベントカメラ
- 高速特徴場(F³): イベントデータの予測的表現イベントカメラ
- VibES: 持続的なイベントベースセンシングのための誘起振動イベントカメラ
