日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

姿勢推定arXiv:2505.11439

SurgPose: ゼロショット学習とステレオビジョンによる汎化可能な手術器具の姿勢推定

SurgPose: Generalisable Surgical Instrument Pose Estimation using Zero-Shot Learning and Stereo Vision

シェア:XThreadsFacebookLINEはてブBluesky

手術器具の6自由度姿勢推定において、ゼロショットRGB-Dモデル(FoundationPose, SAM-6D)をステレオ深度推定と微調整済みMask R-CNNで強化し、未見の器具への汎化性能を向上させた。

詳しい要約

1. どんなもの?

- 本論文は、Robot-assisted Minimally Invasive Surgery (RMIS) における手術器具の6 Degrees of Freedom (DoF) ポーズ推定パイプラインを提案する。 - ゼロショットRGB-DモデルであるFoundationPoseとSAM-6Dを基盤とし、RAFT-Stereoによる視覚ベースの深度推定を組み込む。 - さらにSAM-6Dのインスタンスセグメンテーションモジュールをfine-tuned Mask R-CNNに置き換え、遮蔽や複雑条件下でのセグメンテーション精度を向上させる。 - 未見の手術器具に対するゼロショットポーズ推定の新たなベンチマークを確立することを目指す。

2. 先行研究と比べてどこがすごい?

- 従来のマーカーベース手法は精度が高いが、遮蔽・反射・器具固有の設計に対応するのが難しい。 - 教師あり学習手法は大量のアノテーション付きデータセットを必要とし、新しい器具への適応性が限られる。 - ゼロショットポーズ推定モデルは他分野で成功しているが、RMISにおける手術器具のポーズ推定には未探索であった。 - 本研究はこのギャップを埋め、未見の手術器具への汎化を実現する点で優れている。

3. 技術・手法の肝は?

- 最先端のゼロショットRGB-Dモデル(FoundationPoseとSAM-6D)を活用した6 DoFポーズ推定パイプラインを構築。 - RAFT-Stereoを用いた視覚ベースの深度推定を導入し、反射やテクスチャのない環境でのロバストな深度推定を実現。 - SAM-6DのインスタンスセグメンテーションモジュールであるSegment Anything Model (SAM) をfine-tuned Mask R-CNNに置き換え、遮蔽や複雑条件下でのセグメンテーション精度を大幅に向上。

4. どうやって有効だと検証した?

- 広範な検証を実施し、enhanced SAM-6Dが未見の手術器具に対するゼロショットポーズ推定においてFoundationPoseを上回ることを示した。 - これにより、RMISにおけるゼロショットRGB-Dポーズ推定の新たなベンチマークを確立。 - 具体的なデータセットや評価指標は要旨からは不明。

5. 議論はある?

- 本手法は未見オブジェクトへのポーズ推定の汎化性を向上させ、RMISにおけるRGB-Dゼロショット手法の応用を開拓する。 - しかし、限界や課題についての議論は要旨からは不明。

6. 次に読むべき論文は?

- FoundationPose(ゼロショットRGB-Dポーズ推定手法) - SAM-6D(ゼロショットRGB-Dポーズ推定手法) - RAFT-Stereo(ステレオ深度推定手法) - Mask R-CNN(インスタンスセグメンテーション手法) - Segment Anything Model (SAM)(セグメンテーションモデル)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Utsav Rai, Haozheng Xu, Stamatia Giannarou

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

Accurate pose estimation of surgical tools in Robot-assisted Minimally Invasive Surgery (RMIS) is essential for surgical navigation and robot control. While traditional marker-based methods offer accuracy, they face challenges with occlusions, reflections, and tool-specific designs. Similarly, supervised learning methods require extensive training on annotated datasets, limiting their adaptability to new tools. Despite their success in other domains, zero-shot pose estimation models remain unexplored in RMIS for pose estimation of surgical instruments, creating a gap in generalising to unseen surgical tools. This paper presents a novel 6 Degrees of Freedom (DoF) pose estimation pipeline for surgical instruments, leveraging state-of-the-art zero-shot RGB-D models like the FoundationPose and SAM-6D. We advanced these models by incorporating vision-based depth estimation using the RAFT-Stereo method, for robust depth estimation in reflective and textureless environments. Additionally, we enhanced SAM-6D by replacing its instance segmentation module, Segment Anything Model (SAM), with a fine-tuned Mask R-CNN, significantly boosting segmentation accuracy in occluded and complex conditions. Extensive validation reveals that our enhanced SAM-6D surpasses FoundationPose in zero-shot pose estimation of unseen surgical instruments, setting a new benchmark for zero-shot RGB-D pose estimation in RMIS. This work enhances the generalisability of pose estimation for unseen objects and pioneers the application of RGB-D zero-shot methods in RMIS.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI