日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3Dモデル検索arXiv:2601.07333

OSCAR: 言語プロンプトと単一画像からのオープンセットCAD検索

OSCAR: Open-Set CAD Retrieval from a Language Prompt and a Single Image

シェア:XThreadsFacebookLINEはてブBluesky

言語プロンプトと1枚の画像から、未ラベルの3Dモデルデータベースを検索して対応するCADモデルを訓練なしで見つける手法を提案。

詳しい要約

1. どんなもの?

- 6D object pose estimationのための新しい手法OSCARを提案。 - 言語プロンプトと単一画像から、未ラベルの3Dオブジェクトデータベースから一致するモデルを検索する。 - トレーニング不要のオープンセットCAD検索手法。 - ロボティクスやARでの利用を想定。

2. 先行研究と比べてどこがすごい?

- 従来のゼロショット物体姿勢推定はCADモデルに依存するが、OSCARは未ラベルのデータベースから検索可能。 - トレーニング不要で、オープンセット設定に対応。 - クロスドメイン3Dモデル検索ベンチマークMI3DORで最先端手法を上回る性能。 - YCB-Vデータセットで90.48%の平均精度を達成。

3. 技術・手法の肝は?

- オンボーディング時:データベースモデルの多視点レンダリングを生成し、画像キャプションモデルで説明文を付与。 - 推論時:GroundedSAMでクエリ物体を検出し、関心領域とデータベースキャプションのマルチモーダル埋め込みを計算。 - 2段階検索:CLIPによるテキストベースのフィルタリング後、DINOv2による画像ベースのリファインメント。

4. どうやって有効だと検証した?

- クロスドメイン3Dモデル検索ベンチマークMI3DORで評価し、最先端手法を上回る。 - YCB-Vオブジェクトデータセットで物体検索の平均精度90.48%を達成。 - 最も類似した物体モデルを姿勢推定に利用し、Megaposeで再構成ベースのアプローチより良い結果を示す。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- MI3DORベンチマーク、YCB-Vデータセット、GroundedSAM、CLIP、DINOv2、Megapose。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tessa Pulli, Jean-Baptiste Weibel, Peter Hönig, Matthias Hirschmanner, Markus Vincze, Andreas Holzinger

分類: cs.CV, cs.RO

原文アブストラクト

6D object pose estimation plays a crucial role in scene understanding for applications such as robotics and augmented reality. To support the needs of ever-changing object sets in such context, modern zero-shot object pose estimators were developed to not require object-specific training but only rely on CAD models. Such models are hard to obtain once deployed, and a continuously changing and growing set of objects makes it harder to reliably identify the instance model of interest. To address this challenge, we introduce an Open-Set CAD Retrieval from a Language Prompt and a Single Image (OSCAR), a novel training-free method that retrieves a matching object model from an unlabeled 3D object database. During onboarding, OSCAR generates multi-view renderings of database models and annotates them with descriptive captions using an image captioning model. At inference, GroundedSAM detects the queried object in the input image, and multi-modal embeddings are computed for both the Region-of-Interest and the database captions. OSCAR employs a two-stage retrieval: text-based filtering using CLIP identifies candidate models, followed by image-based refinement using DINOv2 to select the most visually similar object. In our experiments we demonstrate that OSCAR outperforms all state-of-the-art methods on the cross-domain 3D model retrieval benchmark MI3DOR. Furthermore, we demonstrate OSCAR's direct applicability in automating object model sourcing for 6D object pose estimation. We propose using the most similar object model for pose estimation if the exact instance is not available and show that OSCAR achieves an average precision of 90.48\% during object retrieval on the YCB-V object dataset. Moreover, we demonstrate that the most similar object model can be utilized for pose estimation using Megapose achieving better results than a reconstruction-based approach.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI