日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D物体検出arXiv:2605.14110

SToRe3D: 効率的なマルチビュー3D物体検出のためのViTにおけるスパーストークン関連性

SToRe3D: Sparse Token Relevance in ViTs for Efficient Multi-View 3D Object Detection

シェア:XThreadsFacebookLINEはてブBluesky

Vision Transformerを用いたマルチビュー3D物体検出の推論を高速化するため、2D画像トークンと3D物体クエリを関連性に基づいて選択的にスパース化するフレームワークを提案した。

詳しい要約

1. どんなもの?

- どんなもの? - SToRe3Dは、Vision Transformers (ViTs) を用いたマルチビュー3D物体検出の推論遅延を削減するための、関連性に基づくスパース化フレームワーク。 - 2D画像トークンと3D物体クエリを共同で選択し、フィルタリングされた特徴を再活性化のために保存する。 - nuScenesと新たに提案するnuScenes-Relevanceベンチマークで評価され、最大3倍の高速化を達成しつつ、精度低下はわずか。 - 計画に重要なエージェントの精度を維持しながら、リアルタイム大規模ViTベース3D検出を実現する。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 既存のスパース化手法は主に2Dビジョン向けで、画像トークンのプルーニングやマージを行うが、モデル全体のスパース化や3D物体クエリには対応していない。 - SToRe3Dは、2D画像トークンと3D物体クエリの両方を共同で選択する点で新規。 - フィルタリングされた特徴を再活性化のために保存する仕組みを持つ。 - 相互2D-3D関連性ヘッドにより、運転に重要なコンテンツに計算を割り当て、他の埋め込みを保持する。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - 関連性に整合したスパース化フレームワーク:2D画像トークンと3D物体クエリを共同で選択。 - 相互2D-3D関連性ヘッド:2Dと3Dの関連性を相互に評価し、重要なトークンとクエリに計算を集中。 - フィルタリングされた特徴を保存し、再活性化するメカニズム。 - これにより、計算量を削減しつつ、重要な情報を保持する。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - nuScenesデータセットと、新たに提案したnuScenes-Relevanceベンチマークで評価。 - 最大3倍の推論高速化を達成し、精度低下はわずかであることを確認。 - 計画に重要なエージェントの精度を維持していることを検証。

5. 議論はある?

- 議論はある? - 要旨からは不明。

6. 次に読むべき論文は?

- 次に読むべき論文は? - 要旨で参照/比較されている研究:2Dビジョン向けのスパース化手法(プルーニングやマージ) - 関連手法:Vision Transformers (ViTs) を用いたマルチビュー3D物体検出 - データセット:nuScenes、nuScenes-Relevance

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sandro Papais, Lezhou Feng, Charles Cossette, Lingting Ge

分類: cs.CV, cs.RO

原文アブストラクト

Vision Transformers (ViTs) enable strong multi-view 3D detection but are limited by high inference latency from dense token and query processing across multiple views and large 3D regions. Existing sparsity methods, designed mainly for 2D vision, prune or merge image tokens but do not extend to full-model sparsity or address 3D object queries. We introduce SToRe3D, a relevance-aligned sparsity framework that jointly selects 2D image tokens and 3D object queries while storing filtered features for reactivation. Mutual 2D-3D relevance heads allocate compute to driving-critical content and preserve other embeddings. Evaluated on nuScenes and our new nuScenes-Relevance benchmark, SToRe3D achieves up to 3x faster inference with marginal accuracy loss, establishing real-time large-scale ViT-based 3D detection while maintaining accuracy on planning-critical agents.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI