WD-DETR: ウェーブレットノイズ除去で強化したイベントカメラ向けリアルタイム物体検出トランスフォーマ

- Event camera を用いたロボット知覚向けのリアルタイム物体検出ネットワーク WD-DETR（Wavelet Denoising-enhanced DEtection TRansformer）の提案 - 密な event 表現に蓄積するノイズに着目し、検出精度低下と検出漏れ増加を抑える - 密な event 表現を tensor としてリアルタイムに再構成し、wavelet transform でノイズ除去しつつ backbone で特徴抽出 - 抽出特徴を transformer ベースのネットワークに入力して物体予測 - 推論時間短縮のため Dynamic Reorganization Convolution Block (DRCB) を hybrid encoder 内の fusion module として導入

- 従来の event camera 研究は密な event 表現で一定の検出性能を示すが、蓄積ノイズへの注意が不十分だった - 本手法はその蓄積ノイズを wavelet transform で明示的に除去し、表現品質の劣化と検出漏れの増加に対処 - 3つの event-based 物体検出データセット DSEC、Gen1、1Mpx で、比較した state-of-the-art 手法を上回る性能 - NVIDIA Jetson Orin NX 上で TensorRT FP16 により約 35 FPS を達成し、オンボードロボットのリアルタイム知覚に適する

- 密な event 表現を tensor としてリアルタイム再構成する表現を採用 - wavelet transform によるノイズ除去手法を設計し、backbone に統合して特徴抽出 - 抽出特徴を transformer ベースのネットワークへ入力して物体予測 - hybrid encoder 内の fusion module として Dynamic Reorganization Convolution Block (DRCB) を組み込み、推論時間を短縮 - 実装面では NVIDIA Jetson Orin NX 上で TensorRT FP16 を用いて高速化

- event-based 物体検出データセット DSEC、Gen1、1Mpx の3つで評価 - 比較した state-of-the-art 手法に対して WD-DETR が優位な結果を示すと報告 - NVIDIA Jetson Orin NX 上で TensorRT FP16 を用い、約 35 FPS の高フレームレートを達成 - オンボードロボットシステムのリアルタイム知覚への適合性を実装面から確認

- 密な event 表現に蓄積するノイズが表現品質を劣化させ、検出漏れの可能性を高める点を課題として提示 - その対策として wavelet transform によるノイズ除去を backbone に統合する設計を採用 - DRCB を hybrid encoder の fusion module に用いることで推論時間短縮を図る - 具体的な限界や失敗事例、ノイズ除去の定量的寄与の内訳は要旨からは不明

- 比較対象として言及される state-of-the-art の event-based 物体検出法（DSEC、Gen1、1Mpx 上での比較手法） - 密な event 表現を用いる先行の event camera 検出研究 - transformer ベースの Detection Transformer (DETR) 系手法 - wavelet transform を用いたノイズ除去・特徴抽出の関連研究 - Dynamic Reorganization Convolution Block (DRCB) および hybrid encoder に関する研究 - NVIDIA Jetson Orin NX 上の TensorRT FP16 実装・高速化に関する研究