日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セグメンテーションarXiv:2608.01077

VespaSeg: リソースを考慮したグラウンディング→セグメンテーションのパイプラインによる参照表現セグメンテーション

VespaSeg: A Resource-Aware Ground-then-Segment Pipeline for Referring Expression Segmentation

シェア:XThreadsFacebookLINEはてブBluesky

参照表現セグメンテーションを、軽量な視覚言語モデルでテキストをグラウンディングし、MobileSAMでマスクに変換するモジュール型パイプラインを提案。Florence-2-baseとMobileSAMの組み合わせで、低リソースながら高精度を達成した。

詳しい要約

1. どんなもの?

VespaSegは、Referring Expression Segmentation (RES) のためのモジュール型パイプラインを提案する。テキストクエリをコンパクトなvision-language model (Florence-2-base, Florence-2-large, Moondream2) でgroundingし、予測されたバウンディングボックスをMobileSAMでセグメンテーションする。リソース効率を重視し、デプロイコストを削減することを目指す。

2. 先行研究と比べてどこがすごい?

従来のRES手法はモノリシックなモデルが多く、デプロイにコストがかかる。VespaSegは、groundingとsegmentationを分離したモジュール型パイプラインを採用し、コンパクトなモデルを組み合わせることで、精度を維持しつつメモリ使用量と推論速度を改善する。特に、Florence-2-baseとMobileSAMの組み合わせにより、リソース制約のある環境での実用性を高めている。

3. 技術・手法の肝は?

手法の肝は、groundingとsegmentationの2段階パイプラインと、各段階の適応である。groundingにはFlorence-2-baseやMoondream2などのコンパクトなモデルを使用し、テキストクエリから対象物体のバウンディングボックスを予測する。次に、そのボックスをMobileSAMに入力してセグメンテーションマスクを生成する。さらに、ground-truth boxを用いた適応や、Florence-2の出力トークン数の削減など、各段階の調整を行う。

4. どうやって有効だと検証した?

RefCOCOデータセットのリポジトリ固有の検証プロトコル(3,811件の参照オブジェクトレコードの最初の表現)で評価。適応後のFlorence-2-baseパイプラインは、mIoU 73.64、Precision@0.5 84.60を達成。NVIDIA RTX 6000 Ada GPU上で、キャッシュ画像クエリ毎秒22.8件、平均GPUメモリ2.20 GBを記録。500クエリの比較では、Florence-2-baseがmIoU 73.73、Florence-2-largeが72.82で、baseモデルは1.70倍高速でメモリ使用量が1.17 GB少ない。アブレーションでは、ground-truth box適応によりMobileSAMのmIoUが82.22から86.61に向上し、出力トークン数を64から32に削減しても精度が維持されることを確認。

5. 議論はある?

議論として、完全な標準RefCOCO表現分割での評価が必要であること、デプロイハードウェアの違いが性能に影響することが挙げられる。また、モジュール型パイプラインの利点と限界、特にgroundingエラーがsegmentationに伝播する可能性や、コンパクトなモデルの精度上限についての考察が考えられる。

6. 次に読むべき論文は?

要旨で参照されている研究は、Florence-2、MobileSAM、Moondream2、RefCOCOデータセットである。次に読むべき論文としては、これらの基盤となった論文(例:Florence-2の元論文、MobileSAMの元論文)や、RESの標準的なベースライン手法(例:SeqTR, VG-LAW)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Savindu Dilshan Wickramasinghe

分類: cs.RO

原文アブストラクト

Referring expression segmentation requires language conditioned localization and pixel-accurate masks, but monolithic models can be costly to deploy. We present VespaSeg, a modular pipeline that grounds a text query with a compact vision-language model and converts the predicted box to a mask with MobileSAM. We study Florence-2-base, Florence-2-large, and Moondream2 grounders together with targeted adaptation of the grounding and segmentation stages. Under a repository-specific RefCOCO validation protocol containing the first expression for each of 3,811 referenced-object records, the adapted Florence-2-base pipeline obtains 73.64 mean intersection over union (mIoU) and 84.60 precision at IoU 0.5. On an NVIDIA RTX 6000 Ada GPU it processes 22.8 cached-image queries per second with 2.20 GB mean allocated GPU memory. A matched 500-query comparison gives 73.73 mIoU for Florence-2-base and 72.82 for Florence-2-large, while the base model is 1.70 times faster and uses 1.17 GB less allocated memory. Ablations show that ground-truth-box adaptation raises MobileSAM mIoU from 82.22 to 86.61 and that reducing the Florence-2 output-token budget from 64 to 32 preserves accuracy. These results support compact, modular grounding and segmentation, while also exposing the need for evaluation on the complete standard RefCOCO expression splits and deployment hardware.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI