日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セグメンテーションarXiv:2606.16996

ActiveSAM: 画像条件付きクラス刈り込みによる高速かつ高精度なオープンボキャブラリセグメンテーション

ActiveSAM: Image-Conditional Class Pruning for Fast and Accurate Open-Vocabulary Segmentation

シェア:XThreadsFacebookLINEはてブBluesky

SAM 3をベースに、画像ごとにアクティブなクラスのみを推定してフル解像度でデコードする訓練不要の推論フレームワークを提案し、精度を保ちつつ最大5.5倍高速化した。

詳しい要約

1. どんなもの?

- SAM 3をopen-vocabulary semantic segmentation (OVSS)に活用する推論フレームワーク - 各画像には少数のactive classしか含まれない点に着目 - 低解像度previewで画像条件付きactive setを推定し、保持クラスのみfull-resolutionでdecode - training-free, zero-shotでweight更新不要 - 8つのOVSS benchmarkで評価

2. 先行研究と比べてどこがすごい?

- 従来は全dataset vocabularyに対しfull-resolution decodingを実行し非効率 - ActiveSAMはimage-conditioned active set推定で不要クラスを除外 - 現SOTAのSegEarth-OV3比で平均約+1.4 mIoU向上 - 大語彙datasetで最大5.5x高速化 - image corruption下で最も強いrobustnessを示す

3. 技術・手法の肝は?

- class promptをcanonicalize・expand - 低解像度presence previewからimage-conditioned active setを推定 - 保持クラスのみfull-resolutionでdecode - frozen SAM 3 decoderでbucketed prompt multiplexingを使用 - preview段階はclass-presence evidenceのみでsegmentation-head計算をskip - 最終段階でmargin-aware background calibrationにより低信頼pixelを抑制

4. どうやって有効だと検証した?

- 8つのOVSS benchmarkで評価 - SegEarth-OV3と比較し平均約+1.4 mIoU向上 - 大語彙datasetで最大5.5x高速化を確認 - 実世界distribution shiftを模擬するimage corruption下でrobustnessを検証 - 詳細な実験設定は要旨からは不明

5. 議論はある?

- autonomous drivingやembodied AIなどnoisy-input domainへの展開を想定 - training-free・zero-shotでtarget-dataset training不要 - oracle class-presence labelも不要 - 限界や失敗ケースの議論は要旨からは不明

6. 次に読むべき論文は?

- SegEarth-OV3 (比較対象のSOTA) - Segment Anything Model 3 (SAM 3) - open-vocabulary semantic segmentation (OVSS) の関連研究 - 具体的な個別論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tran Dinh Tien, Zhiqiang Shen

分類: cs.CV, cs.AI, cs.LG

原文アブストラクト

Segment Anything Model 3 (SAM 3) provides a strong frozen backbone for concept-prompted segmentation, but applying it directly to open-vocabulary semantic segmentation (OVSS) is inefficient: full-resolution decoding is typically run over the entire dataset vocabulary, whereas each image contains only a small active subset of classes. We introduce ActiveSAM, a training-free, zero-shot inference framework that turns SAM 3 into an active-vocabulary segmenter. ActiveSAM first canonicalizes and expands class prompts, then estimates an image-conditioned active set from a low-resolution presence preview. Only the retained classes are decoded at full resolution, using bucketed prompt multiplexing with the frozen SAM 3 decoder. The preview stage uses only class-presence evidence and skips unnecessary segmentation-head computation, while the final stage applies margin-aware background calibration to suppress low-confidence pixels. ActiveSAM requires no target-dataset training, no weight updates, and no oracle class-presence labels. Across eight OVSS benchmarks, ActiveSAM improves the speed-accuracy tradeoff of training-free open-vocabulary semantic segmentation, outperforming the current state-of-the-art SegEarth-OV3 by approximately +1.4 mIoU on average while running up to 5.5x faster on large-vocabulary datasets. ActiveSAM also demonstrates the strongest robustness under image corruption that simulates real-world distribution shift, making it well-suited for deployment in noisy-input domains such as autonomous driving and embodied AI. Code is available at https://github.com/VILA-Lab/ActiveSAM.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI