日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚的再位置特定arXiv:2606.24767

屋内視覚的再位置特定のためのオープンボキャブラリ理解を備えたコンパクトなオブジェクトレベル表現

Compact Object-Level Representations with Open-Vocabulary Understanding for Indoor Visual Relocalization

シェア:XThreadsFacebookLINEはてブBluesky

シーン内のオブジェクト情報を構造化マップに整理し、オブジェクト単位のみでカメラ再位置特定を駆動するシステムOpenReLocを提案。基礎モデルを活用した2D-3Dオブジェクトマッチングと、オブジェクト指向参照フレームによる高精度な位置推定を実現。

詳しい要約

1. どんなもの?

- 屋内視覚再定位のためのシステムOpenReLocを提案。 - シーンの物体情報(意味、レイアウト、幾何)を構造化マップに組織化。 - 物体単位のみでカメラ再定位を駆動。 - シーン理解と正確な姿勢推定を提供。

2. 先行研究と比べてどこがすごい?

- 従来研究は低レベル視覚スキームが主流で、シーンの意味や構成の知覚が困難。 - 解釈性と適用性が制限されていた。 - OpenReLocはオープンボキャブラリ理解と物体レベル表現でこれらを克服。 - 再定位のリコールと精度で優れる。

3. 技術・手法の肝は?

- マルチモーダル機構でオープンボキャブラリ意味知識を統合し、2D-3D物体マッチングを実現。 - 物体指向参照フレームを位置事前として設計。 - Distance-IoU (DIOU) に基づく参照フレーム選択戦略でスケーラブルシーンに拡張。 - 物体形状に導かれたデュアルパス2D Iterative Closest Pixel損失で安定かつ正確な姿勢最適化。

4. どうやって有効だと検証した?

- 様々なデータセットで実験。 - 再定位リコールと精度が優れていることを実証。 - 具体的なデータセット名や評価指標は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、オープンボキャブラリ物体検出(例:OWL-ViT)、2D-3Dマッチング(例:LoFTR)、Iterative Closest Point (ICP) などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhaopeng Cui, Jiarui Hu, Jingbo Liu, Boming Zhao, Xiyue Guo, Boyin Feng, Haocheng Peng, Yujun Shen, Hujun Bao, Guofeng Zhang

分類: cs.CV, cs.RO

原文アブストラクト

Indoor visual relocalization plays a critical role in emerging spatial and embodied AI applications. However, prior research was predominantly devoted to low-level vision schemes, struggling to perceive scene semantics and compositions, which limits both interpretability and applicability. In this paper, we explore the issue of how to organize rich object information in a scene, including semantics, layout, and geometry, into a structured map representation, thereby utilizing object units exclusively to drive the camera relocalization task. To this end, we propose OpenReLoc, a camera relocalization system designed to provide scene understanding and accurate pose estimation capabilities. Leveraging recent foundation models, we first introduce a multi-modal mechanism to integrate open-vocabulary semantic knowledge for effective 2D-3D object matching. Additionally, we design object-oriented reference frames as position priors, paired with a reference frame selection strategy based on the Distance-IoU (DIOU), enabling extension to scalable scenes. Moreover, to ensure stable and accurate pose optimization, we also propose a dual-path 2D Iterative Closest Pixel loss guided by object shape. Experimental results demonstrate that OpenReLoc achieves superior relocalization recall and accuracy across various datasets. Our source code will be released upon acceptance.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI