日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手術ロボット位置推定arXiv:2510.23512

術野ドレープ下での自己受容:分散型手術ロボットシステム時代の位置推定

Localising under the drape: proprioception in the era of distributed surgical robotic system

シェア:XThreadsFacebookLINEはてブBluesky

滅菌ドレープで覆われた手術ロボットを、マーカーなしのステレオRGBカメラとTransformerベースの深層学習で精密に位置推定する手法を提案し、多施設大規模データセットで検証した。

詳しい要約

1. どんなもの?

- 対象: 滅菌ドレープで覆われた手術ロボットの自己位置推定(proprioception) - 目的: 手術ロボットの周囲認識不足によるcollision・system recovery・workflow disruptionの解消 - 特徴: marker-freeで、lightweight stereo-RGB camerasとtransformer-based deep learning modelsのみに依拠 - 規模: 最大のmulti-centre spatial robotic surgery dataset(1.4M self-annotated images、human cadavericおよびpreclinical in vivo studies由来) - 応用: surgical scene understanding、context-aware control、multi-robot systemsでのlocalisation

2. 先行研究と比べてどこがすごい?

- 既存tracking systemsはbulky infrared camerasとreflective markersに依存し、限られた視野とhardware burdenを生む - 提案法はmarkersを排除し、tracking visibilityを25%改善 - 個々のmarkerではなくロボット全体とsurgical sceneを追跡することで、occlusionsに頑健なholistic viewを実現 - 著者らの知る限り、fully draped surgical robotsに対するmarker-free proprioceptionの初の実証 - setup complexityの低減と安全性向上に寄与

3. 技術・手法の肝は?

- lightweight stereo-RGB camerasによる撮像 - novel transformer-based deep learning modelsを採用 - 滅菌ドレープ下での視覚的手がかりの遮蔽に対処 - markerではなくロボット全体・手術シーンを追跡するholistic approach - 1.4M self-annotated imagesの大規模multi-centre datasetで学習 - 遮蔽に頑健でcontext-aware controlを支援するsurgical scene understandingを提供

4. どうやって有効だと検証した?

- 最大規模のmulti-centre spatial robotic surgery dataset(1.4M self-annotated images、human cadavericおよびpreclinical in vivo studies)を構築・使用 - in vivo breathing compensationにおいて、state of the art trackingでは観測できないtissue dynamicsへのアクセスによる臨床的利点の例を提示 - multi-robot systemsでの正確なlocalisationを実証 - 既存システムとの比較でtracking visibilityが25%改善することを示した

5. 議論はある?

- 滅菌ドレープによる視覚的手がかりの遮蔽という課題に対し、marker-free proprioceptionの有効性を議論 - distributed robots with independent interacting armsの導入でcollision等が深刻化する点を動機として提示 - setup complexity低減・安全性向上・modular and autonomous robotic surgeryへの道筋を主張 - 具体的な限界やfailure cases、計算コスト等の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較対象として挙げられる既存tracking systems(infrared cameraとreflective markersベースの手法) - distributed surgical robotic systemsに関する研究 - transformer-based deep learning modelsのsurgical scene understanding応用 - in vivo breathing compensationやtissue dynamicsを扱う研究 - multi-robot systemsにおけるintelligent interactionの研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Martin Huber, Nicola A. Cavalcanti, Ayoob Davoodi, Ruixuan Li, Christopher E. Mower, Fabio Carrillo, Christoph J. Laux, Francois Teyssere, Thibault Chandanson, Antoine Harlé, Elie Saghbiny, Mazda Farshad, Guillaume Morel, Emmanuel Vander Poorten, Philipp Fürnstahl, Sébastien Ourselin, Christos Bergeles, Tom Vercauteren

分類: cs.RO, cs.CV

原文アブストラクト

Despite their mechanical sophistication, surgical robots remain blind to their surroundings. This lack of spatial awareness causes collisions, system recoveries, and workflow disruptions, issues that will intensify with the introduction of distributed robots with independent interacting arms. Existing tracking systems rely on bulky infrared cameras and reflective markers, providing only limited views of the surgical scene and adding hardware burden in crowded operating rooms. We present a marker-free proprioception method that enables precise localisation of surgical robots under their sterile draping despite associated obstruction of visual cues. Our method solely relies on lightweight stereo-RGB cameras and novel transformer-based deep learning models. It builds on the largest multi-centre spatial robotic surgery dataset to date (1.4M self-annotated images from human cadaveric and preclinical in vivo studies). By tracking the entire robot and surgical scene, rather than individual markers, our approach provides a holistic view robust to occlusions, supporting surgical scene understanding and context-aware control. We demonstrate an example of potential clinical benefits during in vivo breathing compensation with access to tissue dynamics, unobservable under state of the art tracking, and accurately locate in multi-robot systems for future intelligent interaction. In addition, and compared with existing systems, our method eliminates markers and improves tracking visibility by 25%. To our knowledge, this is the first demonstration of marker-free proprioception for fully draped surgical robots, reducing setup complexity, enhancing safety, and paving the way toward modular and autonomous robotic surgery.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI