日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3Dインスタンス分割arXiv:2604.20395

SpaCeFormer: 提案不要の高速オープンボキャブラリ3Dインスタンス分割

SpaCeFormer: Fast Proposal-Free Open-Vocabulary 3D Instance Segmentation

シェア:XThreadsFacebookLINEはてブBluesky

3Dシーンを空間曲線トランスフォーマーで直接インスタンス分割する提案不要の手法を開発し、従来より2〜3桁高速化。大規模データセットも構築した。

詳しい要約

1. どんなもの?

- 提案手法: SpaCeFormer - Open-vocabulary 3D instance segmentation を対象とした proposal-free な space-curve transformer - 1 scene あたり 0.12–0.30 秒で動作し、multi-stage 2D+3D pipeline より 2–3 桁高速 - 付随データセット: SpaCeFormer-3M - 最大規模の open-vocabulary 3D instance segmentation dataset - 7.4K scenes、604K instances、3.0M multi-view-consistent captions - 目的: robotics や AR/VR における中核能力の実現

2. 先行研究と比べてどこがすごい?

- 従来の multi-stage 2D+3D pipeline - foundation-model outputs を集約するため 1 scene あたり数百秒を要する - 従来の pseudo-labeled end-to-end 手法 - fragmented masks や external region proposals に依存 - SpaCeFormer の優位性 - 0.12–0.30 秒/scene で 2–3 桁高速 - mask recall が prior single-view pipeline 比 21 倍(IoU>0.5 で 54.3% vs 2.5%) - ScanNet200 で zero-shot mAP 11.1、prior best proposal-free 比 2.8 倍 - ScanNet++ と Replica で 22.9 / 24.1 mAP、multi-view 2D inputs を使う手法も含め prior を上回る

3. 技術・手法の肝は?

- proposal-free space-curve transformer - spatial window attention と Morton-curve serialization を組み合わせ、spatially coherent features を実現 - RoPE-enhanced decoder により learned queries から直接 instance masks を予測 - external proposals を必要としない - データセット構築: multi-view mask clustering と multi-view VLM captioning による multi-view-consistent captions

4. どうやって有効だと検証した?

- 標準ベンチマークで 0.12–0.30 秒/scene の速度を確認 - mask recall を prior single-view pipeline と比較(IoU>0.5 で 54.3% vs 2.5%) - ScanNet200 で zero-shot mAP 11.1 を達成し、prior best proposal-free 手法と比較 - ScanNet++ と Replica で 22.9 / 24.1 mAP を達成し、multi-view 2D inputs を用いる手法を含む prior 手法と比較

5. 議論はある?

- 要旨からは不明 - 具体的な限界、失敗事例、計算資源、汎化性に関する議論は記載されていない

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究 - multi-stage 2D+3D pipelines - pseudo-labeled end-to-end approaches - prior best proposal-free method - multi-view 2D inputs を用いる手法 - 関連手法/データセット - ScanNet200, ScanNet++, Replica - VLM captioning, Morton-curve serialization, RoPE-enhanced decoder

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chris Choy, Junha Lee, Chunghyun Park, Minsu Cho, Jan Kautz

分類: cs.CV, cs.RO

原文アブストラクト

Open-vocabulary 3D instance segmentation is a core capability for robotics and AR/VR, but prior methods trade one bottleneck for another: multi-stage 2D+3D pipelines aggregate foundation-model outputs at hundreds of seconds per scene, while pseudo-labeled end-to-end approaches rely on fragmented masks and external region proposals. We present SpaCeFormer, a proposal-free space-curve transformer that runs in 0.12--0.30 seconds per scene across standard benchmarks, 2--3 orders of magnitude faster than multi-stage 2D+3D pipelines. We pair it with SpaCeFormer-3M, the largest open-vocabulary 3D instance segmentation dataset (3.0M multi-view-consistent captions over 604K instances from 7.4K scenes) built through multi-view mask clustering and multi-view VLM captioning; it reaches 21$\times$ higher mask recall than prior single-view pipelines (54.3% vs 2.5% at IoU$>$0.5). SpaCeFormer combines spatial window attention with Morton-curve serialization for spatially coherent features, and uses a RoPE-enhanced decoder to predict instance masks directly from learned queries without external proposals. On ScanNet200 we achieve 11.1 zero-shot mAP, a 2.8$\times$ improvement over the prior best proposal-free method; on ScanNet++ and Replica, we reach 22.9 and 24.1 mAP, surpassing all prior methods including those using multi-view 2D inputs.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI