日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3DセグメンテーションarXiv:2602.11660

Clutt3R-Seg: 散乱シーンでの言語指示把持のためのスパースビュー3Dインスタンスセグメンテーション

Clutt3R-Seg: Sparse-view 3D Instance Segmentation for Language-grounded Grasping in Cluttered Scenes

シェア:XThreadsFacebookLINEはてブBluesky

散乱環境での言語指示に基づく把持のため、ノイズの多いマスクを手がかりに階層的なインスタンス木を構築し、少数視点でも頑健なゼロショット3Dインスタンスセグメンテーションを実現した。

詳しい要約

1. どんなもの?

- 言語指示に基づくロボット把持のための3D instance segmentation パイプライン - 名前は Clutt3R-Seg、zero-shot で動作 - 対象は clutter(散乱)環境で、occlusion・限られた視点・noisy mask が問題 - 階層的な instance tree を導入し、noisy mask を情報として活用 - open-vocabulary semantic embedding を各 instance に付与し、自然言語指示から対象選択 - 多段タスク中の scene 変化に対応する consistency-aware update を導入 - 合成・実世界データセットで評価し、実ロボットでも検証

2. 先行研究と比べてどこがすごい?

- 従来は noisy mask を refine しようとするが、本手法は noisy mask を informative cue として活用 - cross-view grouping と conditional substitution により over/under-segmentation を抑制 - view-consistent な mask と robust な 3D instance を生成 - clutter かつ sparse-view な設定で state-of-the-art baseline を一貫して上回る - 最も難しい heavy-clutter 系列で AP@25 61.66 を達成し、baseline の 2.2 倍以上 - 4 視点入力で MaskClustering の 8 視点を 2 倍以上上回る - 再スキャン不要で単一の post-interaction 画像から instance 対応を保持し効率的に適応

3. 技術・手法の肝は?

- 階層的な instance tree of semantic cues を導入 - cross-view grouping と conditional substitution で tree を構築・更新 - これにより over-segmentation と under-segmentation を抑制 - 各 instance に open-vocabulary semantic embedding を付与 - 自然言語指示に基づく target selection を可能にする - consistency-aware update により、単一の post-interaction 画像から instance 対応を保持 - 再スキャンなしで scene 変化に効率的に適応

4. どうやって有効だと検証した?

- 合成データセットと実世界データセットの両方で評価 - 実ロボット上でも検証 - すべての設定で state-of-the-art baseline を上回る - clutter および sparse-view シナリオで一貫して優位 - heavy-clutter 系列で AP@25 61.66 を達成 - baseline 比 2.2 倍以上 - 4 視点で MaskClustering の 8 視点を 2 倍以上上回る

5. 議論はある?

- 要旨からは不明 - 限界や失敗ケース、計算コスト、一般化性に関する議論は要旨に記載なし

6. 次に読むべき論文は?

- MaskClustering(比較対象として明示) - その他の state-of-the-art 3D instance segmentation baseline(要旨では具体名不明) - open-vocabulary semantic embedding 関連手法(要旨では具体名不明) - language-grounded grasping 関連研究(要旨では具体名不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jeongho Noh, Tai Hyoung Rhee, Eunho Lee, Jeongyun Kim, Sunwoo Lee, Ayoung Kim

分類: cs.CV, cs.RO

原文アブストラクト

Reliable 3D instance segmentation is fundamental to language-grounded robotic manipulation. Its critical application lies in cluttered environments, where occlusions, limited viewpoints, and noisy masks degrade perception. To address these challenges, we present Clutt3R-Seg, a zero-shot pipeline for robust 3D instance segmentation for language-grounded grasping in cluttered scenes. Our key idea is to introduce a hierarchical instance tree of semantic cues. Unlike prior approaches that attempt to refine noisy masks, our method leverages them as informative cues: through cross-view grouping and conditional substitution, the tree suppresses over- and under-segmentation, yielding view-consistent masks and robust 3D instances. Each instance is enriched with open-vocabulary semantic embeddings, enabling accurate target selection from natural language instructions. To handle scene changes during multi-stage tasks, we further introduce a consistency-aware update that preserves instance correspondences from only a single post-interaction image, allowing efficient adaptation without rescanning. Clutt3R-Seg is evaluated on both synthetic and real-world datasets, and validated on a real robot. Across all settings, it consistently outperforms state-of-the-art baselines in cluttered and sparse-view scenarios. Even on the most challenging heavy-clutter sequences, Clutt3R-Seg achieves an AP@25 of 61.66, over 2.2x higher than baselines, and with only four input views it surpasses MaskClustering with eight views by more than 2x. The code is available at: https://github.com/jeonghonoh/clutt3r-seg.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI