日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

検出・セグメンテーションarXiv:2603.03577

局所マッチから大域マスクへ:テンプレート誘導によるオープンワールド場面でのインスタンス検出とセグメンテーション

From Local Matches to Global Masks: Template-Guided Instance Detection and Segmentation in Open-World Scenes

シェア:XThreadsFacebookLINEはてブBluesky

テンプレート画像とのパッチ単位の密なマッチングで候補点を生成し、選別後にSAMをプロンプトして、未知環境中の特定物体インスタンスを検出・セグメンテーションする手法を提案。

詳しい要約

1. どんなもの?

- オープンワールド環境で新規物体インスタンスを検出・セグメンテーションするロボット知覚の課題に対し、少数のテンプレート画像から特定物体を位置特定・セグメンテーションする手法。 - 提案ベースの既存手法は提案品質に敏感で、オクルージョンや背景クラッタで失敗しやすい。 - 提案手法 L2G-Det は、テンプレートとクエリ画像間の密なパッチレベルマッチングを活用し、明示的な物体提案を回避する local-to-global インスタンス検出フレームワーク。

2. 先行研究と比べてどこがすごい?

- 既存の proposal-based アプローチと比較して、提案品質への依存を排除し、オクルージョンや背景クラッタ下での性能を改善。 - 実験で challenging な open-world 設定において proposal-based 手法を上回る性能を実証。 - 具体的な先行研究名は要旨からは不明。

3. 技術・手法の肝は?

- テンプレートとクエリ画像間の密な patch-level matching を実施。 - 局所的にマッチしたパッチから候補点を生成。 - candidate selection module で偽陽性を抑制するために候補点を精錬。 - フィルタリングされた点を instance-specific object tokens と共に augmented Segment Anything Model (SAM) に入力し、完全なインスタンスマスクを再構築。

4. どうやって有効だと検証した?

- 実験により、challenging な open-world 設定で proposal-based 手法に対する性能向上を実証。 - 具体的なデータセット名や評価指標は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は proposal-based 手法および Segment Anything Model (SAM) のみ。 - 同分野の定番として、open-world instance detection/segmentation に関する研究や、SAM を拡張した手法が考えられるが、具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qifan Zhang, Sai Haneesh Allu, Jikai Wang, Yangxiao Lu, Yu Xiang

分類: cs.CV, cs.RO

原文アブストラクト

Detecting and segmenting novel object instances in open-world environments is a fundamental problem in robotic perception. Given only a small set of template images, a robot must locate and segment a specific object instance in a cluttered, previously unseen scene. Existing proposal-based approaches are highly sensitive to proposal quality and often fail under occlusion and background clutter. We propose L2G-Det, a local-to-global instance detection framework that bypasses explicit object proposals by leveraging dense patch-level matching between templates and the query image. Locally matched patches generate candidate points, which are refined through a candidate selection module to suppress false positives. The filtered points are then used to prompt an augmented Segment Anything Model (SAM) with instance-specific object tokens, enabling reliable reconstruction of complete instance masks. Experiments demonstrate improved performance over proposal-based methods in challenging open-world settings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI