日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2509.24572

SCOPE: ロボティクスにおけるSim2Realカテゴリレベル物体姿勢推定のための意味的条件付け

SCOPE: Semantic Conditioning for Sim2Real Category-Level Object Pose Estimation in Robotics

シェア:XThreadsFacebookLINEはてブBluesky

DINOv2の連続的な意味特徴を拡散モデルに組み込み、カテゴリラベルなしで未知物体の姿勢を推定できるカテゴリレベル姿勢推定手法を提案し、Sim2Realギャップを縮小した。

詳しい要約

1. どんなもの?

- ロボットの物体操作のための category-level object pose estimation モデル「SCOPE」 - diffusion-based なアプローチ - 離散的な category label を不要にし、DINOv2 features を連続的な semantic prior として利用 - 目的は open environment で未知物体にも汎化できる pose estimation - 既知カテゴリへの汎化と、その外側への汎化の両方を狙う - photorealistic な合成データと point normals の noise model を組み合わせ、Sim2Real gap を削減

2. 先行研究と比べてどこがすごい?

- 従来の category-level object pose estimation は discrete category labels を前提とする点が課題 - SCOPE は DINOv2 features による連続的 semantic prior で label 依存を排除 - synthetically trained な category-level object pose estimation において現在の state of the art を上回る - 5°5cm metric で相対 31.9% 改善 - 既知カテゴリの分布外にある物体へも canonicalized object coordinate system を学習できる点が特徴 - 未知カテゴリ物体の grasping まで実証

3. 技術・手法の肝は?

- diffusion-based な category-level object pose estimation model - DINOv2 features を連続的 semantic prior として使用 - 離散 category label を不要にする - cross-attention により連続的 semantic prior を注入 - 既知カテゴリ分布外の instance にも canonicalized object coordinate system を学習可能に - photorealistic training data と point normals 用 noise model を組み合わせ Sim2Real gap を削減

4. どうやって有効だと検証した?

- synthetically trained category-level object pose estimation の state of the art と比較 - 5°5cm metric で相対 31.9% 改善を報告 - 2 つの instance-level datasets で追加実験 - 既知カテゴリ外への汎化を検証 - 未知カテゴリの未見物体の grasping を実施 - 成功率最大 100% を報告

5. 議論はある?

- 離散 category label を不要にし連続 semantic prior を用いる設計の有効性を主張 - Sim2Real gap 削減のため photorealistic data と point normals の noise model を併用 - 既知カテゴリ外への汎化と未知物体 grasping の可能性を示す - 限界や失敗事例、計算コストなどの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- DINOv2(連続的 semantic prior として利用) - diffusion-based な pose estimation 手法(関連手法として一般名で挙げられる) - category-level object pose estimation の synthetically trained な state of the art(比較対象) - Sim2Real に関する photorealistic training data / point normals noise model の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peter Hönig, Stefan Thalhammer, Jean-Baptiste Weibel, Matthias Hirschmanner, Markus Vincze

分類: cs.CV, cs.RO

原文アブストラクト

Object manipulation requires accurate object pose estimation. In open environments, robots encounter unknown objects, which requires semantic understanding in order to generalize both to known categories and beyond. To resolve this challenge, we present SCOPE, a diffusion-based category-level object pose estimation model that eliminates the need for discrete category labels by leveraging DINOv2 features as continuous semantic priors. By combining these DINOv2 features with photorealistic training data and a noise model for point normals, we reduce the Sim2Real gap in category-level object pose estimation. Furthermore, injecting the continuous semantic priors via cross-attention enables SCOPE to learn canonicalized object coordinate systems across object instances beyond the distribution of known categories. SCOPE outperforms the current state of the art in synthetically trained category-level object pose estimation, achieving a relative improvement of 31.9\% on the 5$^\circ$5cm metric. Additional experiments on two instance-level datasets demonstrate generalization beyond known object categories, enabling grasping of unseen objects from unknown categories with a success rate of up to 100\%. Code available: https://github.com/hoenigpeter/scope.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI