日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.11364

ActivePose: ロボットマニピュレーションのための能動的6D物体姿勢推定と追跡

ActivePose: Active 6D Object Pose Estimation and Tracking for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

VLMと「ロボットの想像力」を組み合わせ、曖昧さを検出してカメラを次の最良視点へ動かすことで、6D物体姿勢推定・追跡を能動的に高精度化する手法を提案。

詳しい要約

1. どんなもの?

- ロボットマニピュレーション向けの6-DoF物体pose estimationおよびtrackingを能動化するパイプライン「ActivePose」 - Vision-Language Model (VLM) と「robotic imagination」を組み合わせ、viewpoint起因の曖昧性をリアルタイムに検出・解消 - オフライン段階とランタイム段階からなる2段構成 - 物体が視野外に出る問題に対応するactive pose trackingモジュールも含む

2. 先行研究と比べてどこがすごい?

- zero-shot手法はviewpoint起因の曖昧性下で失敗しやすい - 固定カメラ設定は物体移動やself-occlusionに弱い - これらに対し、VLMによる曖昧性検出とNext-Best-View (NBV)へのカメラ移動で能動的に曖昧性を解消する点が新しい - さらにdiffusion-policyによる能動的trackingで物体の可視性を保つ点が従来と異なる - シミュレーションと実世界で古典的baselineを大きく上回ると報告

3. 技術・手法の肝は?

- オフライン段階 - CAD modelから密なviewpoint集合をレンダリング - 各viewのFoundationPose entropyを計算 - 低entropy(曖昧性小)と高entropy(曖昧性大)の例を含むgeometric-aware promptを構築 - ランタイム段階 - ライブ画像についてVLMにambiguity scoreを問い合わせ - 曖昧性検出時、候補camera pose集合を仮想レンダリングで「想像」 - VLM ambiguity probabilityとFoundationPose entropyの重み付き結合で各候補をスコアリング - Next-Best-View (NBV)へカメラを移動し曖昧性を解消したpose estimationを取得 - active pose tracking - imitation learningで訓練したdiffusion-policyがcamera trajectoryを生成 - 物体の可視性維持とpose ambiguity最小化を狙う

4. どうやって有効だと検証した?

- シミュレーションおよび実世界の両方で実験 - 提案手法が古典的baselineを有意に上回ると報告 - 具体的なデータセット名・評価指標・被験物体数などは要旨からは不明

5. 議論はある?

- 要旨からは不明 - VLMのambiguity scoreの信頼性やレイテンシ、NBV移動コスト、diffusion-policyの汎化性などに関する議論は要旨に記載なし

6. 次に読むべき論文は?

- FoundationPose(entropy指標の基盤) - Vision-Language Modelを用いた能動的知覚・Next-Best-View (NBV) 計画の関連研究 - diffusion-policyによるvisuomotor policy学習(imitation learning)の関連研究 - zero-shot 6-DoF pose estimationの代表的手法(要旨で明示参照なし)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sheng Liu, Zhe Li, Weiheng Wang, Han Sun, Heng Zhang, Hongpeng Chen, Yusen Qin, Arash Ajoudani, Yizhao Wang

分類: cs.RO

原文アブストラクト

Accurate 6-DoF object pose estimation and tracking are critical for reliable robotic manipulation. However, zero-shot methods often fail under viewpoint-induced ambiguities and fixed-camera setups struggle when objects move or become self-occluded. To address these challenges, we propose an active pose estimation pipeline that combines a Vision-Language Model (VLM) with "robotic imagination" to dynamically detect and resolve ambiguities in real time. In an offline stage, we render a dense set of views of the CAD model, compute the FoundationPose entropy for each view, and construct a geometric-aware prompt that includes low-entropy (unambiguous) and high-entropy (ambiguous) examples. At runtime, the system: (1) queries the VLM on the live image for an ambiguity score; (2) if ambiguity is detected, imagines a discrete set of candidate camera poses by rendering virtual views, scores each based on a weighted combination of VLM ambiguity probability and FoundationPose entropy, and then moves the camera to the Next-Best-View (NBV) to obtain a disambiguated pose estimation. Furthermore, since moving objects may leave the camera's field of view, we introduce an active pose tracking module: a diffusion-policy trained via imitation learning, which generates camera trajectories that preserve object visibility and minimize pose ambiguity. Experiments in simulation and real-world show that our approach significantly outperforms classical baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI