SToRe3D: 効率的なマルチビュー3D物体検出のためのViTにおけるスパーストークン関連性
SToRe3D: Sparse Token Relevance in ViTs for Efficient Multi-View 3D Object Detection
Vision Transformerを用いたマルチビュー3D物体検出の推論を高速化するため、2D画像トークンと3D物体クエリを関連性に基づいて選択的にスパース化するフレームワークを提案した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Sandro Papais, Lezhou Feng, Charles Cossette, Lingting Ge
分類: cs.CV, cs.RO
原文アブストラクト
Vision Transformers (ViTs) enable strong multi-view 3D detection but are limited by high inference latency from dense token and query processing across multiple views and large 3D regions. Existing sparsity methods, designed mainly for 2D vision, prune or merge image tokens but do not extend to full-model sparsity or address 3D object queries. We introduce SToRe3D, a relevance-aligned sparsity framework that jointly selects 2D image tokens and 3D object queries while storing filtered features for reactivation. Mutual 2D-3D relevance heads allocate compute to driving-critical content and preserve other embeddings. Evaluated on nuScenes and our new nuScenes-Relevance benchmark, SToRe3D achieves up to 3x faster inference with marginal accuracy loss, establishing real-time large-scale ViT-based 3D detection while maintaining accuracy on planning-critical agents.
