日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D理解arXiv:2606.31533

MV-GEL: 言語駆動によるメッシュ上の多視点幾何エンティティ位置特定

MV-GEL: Language-Driven Multi-View Geometric Entity Localization on Meshes

シェア:XThreadsFacebookLINEはてブBluesky

自然言語クエリに基づいて3Dメッシュ上の細かい幾何エンティティ(面、エッジ、立体)を特定するフレームワークを提案。視点選択を最適化し、VLMとレイキャスティングを組み合わせて高精度な位置特定を実現。

詳しい要約

1. どんなもの?

- 3Dメッシュ上の細かい幾何エンティティ(面、辺、ソリッド)を自然言語クエリから特定するフレームワークMV-GELを提案。 - 言語駆動のマルチビュー幾何エンティティ定位を実現。 - CAD、ロボット操作、科学シミュレーションへの応用を目指す。 - ポリゴンメッシュのみを入力とし、CADに依存しない。

2. 先行研究と比べてどこがすごい?

- 画像領域のreferring segmentation (RIS)を3D構造化幾何に拡張。 - 単一視点では遮蔽や短縮が問題となるが、MV-GELは言語に基づく視点選択で対処。 - ベースラインと比較して面レベルIoUが最大1.7倍、辺レベルF1が4.5倍以上改善。 - CLIPベースやランダム視点サンプリングを大幅に上回る。

3. 技術・手法の肝は?

- 言語プロンプトに条件付けられた視点ランキングモジュールGELviewsを導入。 - クエリされたエンティティの観測可能性に基づき視点を優先。 - 選択された視点をVLMベースの推論セグメンテーションバックボーンで処理。 - 予測マスクをジオメトリ認識レイキャスティングでメッシュにリフト。

4. どうやって有効だと検証した?

- 実験により、面レベルIoUと辺レベルF1の改善を確認。 - 特に薄い構造や視点に敏感な構造で有効性を実証。 - データセット、コード、学習済みチェックポイントを公開。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- CLIPベースの手法、ランダム視点サンプリング、VLMベースのreferring segmentation (RIS) 関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kartik Bali, Roland Aydin

分類: cs.CV

原文アブストラクト

Identifying and grounding precise geometric entities, such as edges, planar regions, and curved surfaces within 3D objects, is foundational to computer-aided design (CAD), robotic manipulation, and scientific simulation. Although modern Vision Language Models (VLMs) have advanced referring segmentation (RIS) in the image domain, extending such language-driven localization to structured 3D geometry is substantially harder. The 3D object appearance is highly sensitive to viewpoints; a single perspective may render a target entity clearly observable, while another may suffer from severe occlusion or foreshortening. In this work, we attempt to solve these challenges with MV-GEL (Multi-View Geometric Entity Localization), a framework for localizing fine-grained geometric entities on polygon meshes from natural language queries. Our key insight is that reliable CAD entity (i.e., faces, edges or solids) localization depends on selecting views that make the queried entity maximally interpretable. We introduce GELviews, a prompt-conditioned ranking module that prioritizes viewpoints based on language prompted observability of geometric CAD entities. Selected views are processed by a VLM-based reasoning segmentation backbone, and predicted masks are lifted to the corresponding meshes via geometry-aware ray casting. Our framework is completely CAD agnostic and relies only on 3D meshes. Experiments show up to a 1.7X improvement in face-level IoU and over 4.5X gains in edge-level F1 compared to vanilla baselines, substantially outperforming CLIP-based and random view sampling, particularly for thin and view-sensitive structures. The dataset, code and trained checkpoints are available at https://github.com/kbali1297/MV-GEL.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI