日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
3DセグメンテーションarXiv:2504.03129

GraphSeg: グラフの辺追加と縮約によるセグメント化された3D表現

GraphSeg: Segmented 3D Representations via Graph Edge Addition and Contraction

シェア:XThreadsFacebookLINEはてブBluesky

深度情報なしの少数の2D画像から、2Dの類似度と推定3D構造の二重対応グラフを構築し、辺の追加とグラフ縮約で一貫した3D物体セグメンテーションを生成する手法。

詳しい要約

1. どんなもの？

- ロボットが非構造環境で物体レベルの一貫した3D表現を得るためのフレームワーク。 - スパースな2D画像のみから深度情報なしで一貫した3D物体セグメンテーションを生成する。 - 2Dピクセル類似度と推論された3D構造から二重対応グラフを構築し、エッジ追加とグラフ縮約により複数の2Dマスクを統合する。 - 3D foundation modelsを活用してセグメント化された3D表現を生成する。

2. 先行研究と比べてどこがすごい？

- 従来の大規模モデル（例：Segment Anything (SAM)）は2D画像セグメンテーションでは高性能だが、3D世界ではオブジェクトを過剰分割し、ビュー間で一貫したマスク対応を生成できない問題があった。 - GraphSegはこれらの問題を克服し、より少ない画像で高精度かつ一貫したセグメンテーションを実現する。 - テーブルトップシーンで最先端性能を示し、下流のロボットマニピュレーションタスクの性能向上を可能にする。

3. 技術・手法の肝は？

- スパースな2D画像から深度情報なしで一貫した3D物体セグメンテーションを生成する。 - 2Dピクセルレベルの類似度に基づくグラフと、推論された3D構造に基づくグラフの二重対応グラフを構築する。 - セグメンテーションをエッジ追加問題として定式化し、その後のグラフ縮約により複数の2Dマスクを統合された物体レベルセグメンテーションにマージする。 - 3D foundation modelsを活用してセグメント化された3D表現を生成する。

4. どうやって有効だと検証した？

- テーブルトップシーンでの実験により、最先端性能を達成することを示した。 - 下流のロボットマニピュレーションタスクにおいて性能向上が得られることを実証した。 - 具体的な評価指標やデータセット名は要旨からは不明。

5. 議論はある？

- 要旨からは不明。 - ただし、深度情報なしでスパース画像から一貫した3Dセグメンテーションを実現する点が特徴であり、ロボットマニピュレーションへの応用可能性が示唆される。

6. 次に読むべき論文は？

- Segment Anything (SAM)：2Dセグメンテーションの大規模モデル。 - 3D foundation models：3D表現生成に活用される基盤モデル。 - 関連手法として、深度情報を用いた3Dセグメンテーション手法やマルチビュー一貫性を扱う研究が考えられるが、要旨では具体的に参照されていない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haozhan Tang, Tianyi Zhang, Oliver Kroemer, Matthew Johnson-Roberson, Weiming Zhi

分類: cs.RO, cs.AI, cs.CV, cs.LG, cs.SY, eess.SY

原文アブストラクト

Robots operating in unstructured environments often require accurate and consistent object-level representations. This typically requires segmenting individual objects from the robot's surroundings. While recent large models such as Segment Anything (SAM) offer strong performance in 2D image segmentation. These advances do not translate directly to performance in the physical 3D world, where they often over-segment objects and fail to produce consistent mask correspondences across views. In this paper, we present GraphSeg, a framework for generating consistent 3D object segmentations from a sparse set of 2D images of the environment without any depth information. GraphSeg adds edges to graphs and constructs dual correspondence graphs: one from 2D pixel-level similarities and one from inferred 3D structure. We formulate segmentation as a problem of edge addition, then subsequent graph contraction, which merges multiple 2D masks into unified object-level segmentations. We can then leverage \emph{3D foundation models} to produce segmented 3D representations. GraphSeg achieves robust segmentation with significantly fewer images and greater accuracy than prior methods. We demonstrate state-of-the-art performance on tabletop scenes and show that GraphSeg enables improved performance on downstream robotic manipulation tasks. Code available at https://github.com/tomtang502/graphseg.git.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING（GPU搭載BTOゲーミングPC）

OZ GAMING（GPU搭載BTOゲーミングPC）の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →