日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

姿勢推定arXiv:2511.12614

OPFormer: 幾何エンコーディングと基盤モデルを活用した物体姿勢推定

OPFormer: Object Pose Estimation leveraging foundation model with geometric encoding

シェア:XThreadsFacebookLINEはてブBluesky

物体検出と6D姿勢推定を統合したフレームワークを提案し、基盤モデルとNOCSによる幾何情報を組み合わせて高精度かつ効率的に姿勢を推定する。

詳しい要約

1. どんなもの?

- 物体検出と6D pose estimationを統合したend-to-endフレームワーク - onboarding段階で3D CAD models、無い場合はmulti-view imagesからNeRFで高忠実なneural representationを再構成 - テスト画像ではCNOS detectorで対象物体をlocalize - 各detectionに対し新規pose推定モジュールOPFormerが6D poseを推定 - OPFormerはtransformer-based architectureで、foundation modelを特徴抽出に活用 - model-basedとmodel-freeの両シナリオに対応する統合システム

2. 先行研究と比べてどこがすごい?

- 従来の個別パイプラインではなく、object detectionとpose estimationを単一のend-to-end frameworkに統合 - onboardingをCAD modelsとNeRF再構成の両方で行える柔軟性 - foundation modelによるrobust feature extractionをpose推定に活用 - 複数template viewsのjoint encodingとNOCSによる明示的3D geometric priorsの融合 - BOP benchmarksでaccuracyとefficiencyのバランスを示す - 具体的な先行研究との数値比較は要旨からは不明

3. 技術・手法の肝は?

- onboarding: 3D CAD models、またはmulti-view imagesからのNeRF再構成でobject representationを生成 - detection: CNOS detectorでtarget objectsをlocalize - pose estimation: OPFormerが6D poseを推定 - transformer-based architectureでfoundation modelを特徴抽出に利用 - 複数template viewsをjointly encodingして包括的object representationを学習 - Normalized Object Coordinate Space (NOCS)で明示的3D geometric priorsを付与 - decoderがrobustな2D-3D correspondencesを確立し最終poseを決定

4. どうやって有効だと検証した?

- 挑戦的なBOP benchmarksで統合システムを評価 - accuracyとefficiencyの強いバランスを示したと報告 - model-basedとmodel-freeの両シナリオで実用性を確認 - 具体的な評価指標・比較手法・数値は要旨からは不明

5. 議論はある?

- accuracyとefficiencyのバランスや実用性が主張されている - model-based/model-free両対応の有用性に言及 - 限界、失敗事例、計算コストの詳細な議論は要旨からは不明 - NeRF再構成の品質がpose精度に与える影響は要旨からは不明

6. 次に読むべき論文は?

- CNOS detector(object detection/localization) - NeRF(neural representation再構成) - Normalized Object Coordinate Space (NOCS) - BOP benchmarks関連のpose estimation研究 - foundation modelを用いたfeature extraction関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Artem Moroz, Vít Zeman, Martin Mikšík, Elizaveta Isianova, Miroslav David, Pavel Burget, Varun Burde

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

We introduce a unified, end-to-end framework that seamlessly integrates object detection and pose estimation with a versatile onboarding process. Our pipeline begins with an onboarding stage that generates object representations from either traditional 3D CAD models or, in their absence, by rapidly reconstructing a high-fidelity neural representation (NeRF) from multi-view images. Given a test image, our system first employs the CNOS detector to localize target objects. For each detection, our novel pose estimation module, OPFormer, infers the precise 6D pose. The core of OPFormer is a transformer-based architecture that leverages a foundation model for robust feature extraction. It uniquely learns a comprehensive object representation by jointly encoding multiple template views and enriches these features with explicit 3D geometric priors using Normalized Object Coordinate Space (NOCS). A decoder then establishes robust 2D-3D correspondences to determine the final pose. Evaluated on the challenging BOP benchmarks, our integrated system demonstrates a strong balance between accuracy and efficiency, showcasing its practical applicability in both model-based and model-free scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI