日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

6D姿勢推定arXiv:2601.13565

クロス視点知覚による細粒度対応学習で実現するオープンボキャブラリ6D物体姿勢推定

Learning Fine-Grained Correspondence with Cross-Perspective Perception for Open-Vocabulary 6D Object Pose Estimation

シェア:XThreadsFacebookLINEはてブBluesky

オープンボキャブラリ6D姿勢推定において、対象物体を背景から分離し、二視点特徴の融合とパッチ間相関行列による空間制約付きマッチングを行うFiCoPを提案し、REAL275とToyota-Lightで精度を大幅に改善した。

詳しい要約

1. どんなもの?

- 自然言語のみで任意の未見物体を操作するための Open-vocabulary 6D object pose estimation の新手法 FiCoP を提案。 - 既存手法の global matching は背景の distractor と混同しやすい問題を指摘。 - 空間制約付き patch-level correspondence へ移行する枠組み。 - 対象物体の分離、二視点融合、patch 相関予測を組み合わせる。

2. 先行研究と比べてどこがすごい?

- 従来は anchor features を query image 全体と照合する unconstrained global matching に依存。 - これに対し FiCoP は spatially-constrained patch-level correspondence を採用。 - object-centric disentanglement で macro-level の環境ノイズを除去。 - 結果として REAL275 で Average Recall 8.0%、Toyota-Light で 6.1% 改善。

3. 技術・手法の肝は?

- まず object-centric disentanglement により対象を環境ノイズから分離。 - Cross-Perspective Global Perception (CPGP) で dual-view features を融合。 - 明示的な context reasoning と text-guided semantic injection で構造的合意を形成。 - Patch Correlation Predictor (PCP) が patch-to-patch correlation matrix を構造 prior として利用。 - block-wise association map を生成し、空間フィルタとして fine-grained matching を実現。

4. どうやって有効だと検証した?

- REAL275 と Toyota-Light のデータセットで実験。 - state-of-the-art 手法と比較し Average Recall がそれぞれ 8.0%、6.1% 向上。 - 複雑で制約のない open-world 環境でのロボット知覚の頑健性と汎化性を示すと主張。 - ソースコードは公開予定。

5. 議論はある?

- 既存の global matching の曖昧さと背景混同を主要な課題として議論。 - 空間制約と patch 相関によるノイズ耐性の向上を主張。 - 具体的な限界や失敗事例、計算コストなどの議論は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として state-of-the-art の Open-vocabulary 6D object pose estimation 手法(具体名は要旨からは不明)。 - 関連手法として global matching を用いる既存研究。 - データセット REAL275、Toyota-Light を用いた研究。 - 同分野の定番として 6D object pose estimation、open-vocabulary learning、cross-perspective perception に関する論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yu Qin, Shimeng Fan, Fan Yang, Zixuan Xue, Zijie Mai, Wenrui Chen, Kailun Yang, Zhiyong Li

分類: cs.CV, cs.RO, eess.IV

原文アブストラクト

Open-vocabulary 6D object pose estimation empowers robots to manipulate arbitrary unseen objects guided solely by natural language. However, a critical limitation of existing approaches is their reliance on unconstrained global matching strategies. In open-world scenarios, trying to match anchor features against the entire query image space introduces excessive ambiguity, as target features are easily confused with background distractors. To resolve this, we propose Fine-grained Correspondence Pose Estimation (FiCoP), a framework that transitions from noise-prone global matching to spatially-constrained patch-level correspondence. To systematically eliminate background interference, FiCoP first employs an object-centric disentanglement step to isolate the target from macro-level environmental noise. Building upon this localized region, our core methodological innovations are twofold. Firstly, a Cross-Perspective Global Perception (CPGP) module is proposed to fuse dual-view features, establishing structural consensus through explicit context reasoning and text-guided semantic injection. Secondly, we design a Patch Correlation Predictor (PCP) that leverages a patch-to-patch correlation matrix as a structural prior. This generates a precise block-wise association map, acting as a spatial filter to enforce fine-grained, noise-resilient matching. Experiments on the REAL275 and Toyota-Light datasets demonstrate that FiCoP improves Average Recall by 8.0% and 6.1%, respectively, compared to the state-of-the-art method, highlighting its capability to deliver robust and generalized perception for robotic agents operating in complex, unconstrained open-world environments. The source code will be made publicly available at https://github.com/zjjqinyu/FiCoP.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI