日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

医療ロボティクスarXiv:2602.14666

内視鏡下シーンにおける単眼2D/3Dリアルタイム知覚による柔軟ロボット内視鏡器具の制御

Real-time Monocular 2D and 3D Perception of Endoluminal Scenes for Controlling Flexible Robotic Endoscopic Instruments

シェア:XThreadsFacebookLINEはてブBluesky

単眼内視鏡画像から柔軟器具の位置・姿勢と組織との距離をリアルタイムに推定する2D/3D学習ベース知覚アルゴリズムを提案し、物理シミュレータでデータを生成して連続体ロボットの制御性能を評価した。

詳しい要約

1. どんなもの?

- 内視鏡下の endoluminal surgery 向けに、continuum robot の flexible instrument を制御するための visual perception platform を提案。 - monocular endoscopic image から instrument の position と orientation を推定し、tissue との距離を計測する 2D/3D 学習ベースの perception algorithm を導入。 - flexible instrument dynamics をモデル化した physically-realistic simulator を開発し、realistic endoluminal scene を生成して制御とデータ収集を可能にする。 - continuum robot prototype を用いて module および system-level の評価を実施。

2. 先行研究と比べてどこがすごい?

- 従来の endoluminal surgery は surgical tool の制限と急峻な learning curve が課題。 - robotic system、特に continuum robot は flexible instrument により精密な tissue resection を可能にするが、本研究は monocular endoscopic image ベースの perception で flexible instrument の position/orientation と tissue 距離をリアルタイムに推定する点が新しい。 - 学習ベースの 2D/3D perception algorithm と physically-realistic simulator を組み合わせ、制御性能を向上させた点が先行研究と異なる。

3. 技術・手法の肝は?

- monocular endoscopic image を入力とし、flexible instrument の position と orientation を推定する 2D および 3D の learning-based perception algorithm を開発。 - flexible instrument dynamics をモデル化した physically-realistic simulator を構築し、realistic endoluminal scene を生成。 - simulator を用いて flexible robot の制御と大規模データ収集を実現。 - continuum robot prototype に実装し、module および system-level で評価。

4. どうやって有効だと検証した?

- continuum robot prototype を用いて module および system-level の評価を実施。 - 結果、trajectory-following task において manipulation time を 70% 以上削減。 - surgical scenario の理解が向上し、robust endoluminal surgery に寄与することを示した。

5. 議論はある?

- 提案手法により flexible instrument の制御が改善され、manipulation time の大幅短縮と surgical scenario 理解の向上が確認された。 - これにより robust endoluminal surgery が可能になると主張。 - 限界や課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として continuum robot、monocular endoscopic image-based perception、learning-based 2D/3D perception、physically-realistic simulator が挙げられる。 - 同分野の定番として endoluminal surgery 向けの robotic system や visual SLAM などの一般名が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruofeng Wei, Kai Chen, Yui Lun Ng, Yiyao Ma, Justin Di-Lang Ho, Hon Sing Tong, Xiaomei Wang, Jing Dai, Ka-Wai Kwok, Qi Dou

分類: cs.RO

原文アブストラクト

Endoluminal surgery offers a minimally invasive option for early-stage gastrointestinal and urinary tract cancers but is limited by surgical tools and a steep learning curve. Robotic systems, particularly continuum robots, provide flexible instruments that enable precise tissue resection, potentially improving outcomes. This paper presents a visual perception platform for a continuum robotic system in endoluminal surgery. Our goal is to utilize monocular endoscopic image-based perception algorithms to identify position and orientation of flexible instruments and measure their distances from tissues. We introduce 2D and 3D learning-based perception algorithms and develop a physically-realistic simulator that models flexible instruments dynamics. This simulator generates realistic endoluminal scenes, enabling control of flexible robots and substantial data collection. Using a continuum robot prototype, we conducted module and system-level evaluations. Results show that our algorithms improve control of flexible instruments, reducing manipulation time by over 70% for trajectory-following tasks and enhancing understanding of surgical scenarios, leading to robust endoluminal surgeries.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI