日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手術ロボティクス/データ収集arXiv:2603.06919

SurgSync: 手術ロボットのための時間同期マルチモーダルデータ収集フレームワークとデータセット

SurgSync: Time-Synchronized Multi-Modal Data Collection Framework and Dataset for Surgical Robotics

シェア:XThreadsFacebookLINEはてブBluesky

手術ロボットの知能化に向け、オフライン・オンライン同期を備えたマルチモーダルデータ収集フレームワークとデータセットを構築した。

詳しい要約

1. どんなもの?

- ロボット手術システムにAIを導入するための訓練データ不足を解決する - 多モーダルデータ収集フレームワークSurgSyncを提案 - オフライン同期とオンライン同期の両方をサポート - dVRK上に実装し、オンライン/オフライン同期レコーダ、ステレオ内視鏡、追加センサ(側視カメラ、容量性接触センサ)を導入 - 後処理ツールボックス(深度推定、オプティカルフロー、ガウスヒートマップによるキネマティック再投影)を提供 - 異なる技能レベルの参加者によるex-vivo組織を用いたユーザスタディを実施 - 手術技能評価ネットワークでデータ利用を実証 - 214の検証済みインスタンスからなるデータセットを取得し、ソフトウェアとデータを公開

2. 先行研究と比べてどこがすごい?

- 既存のロボット手術システムは人間参加型(外科医のテレオペレーション)が主流 - 既存研究ではAI訓練に必要な大規模データが不足 - SurgSyncはマルチモーダルデータ収集フレームワークを提供し、オフラインとオンラインの両方の同期を実現 - 臨床システムと同等の画質を持つステレオ内視鏡を採用 - 側視カメラや容量性接触センサなど追加センサでグラウンドトゥルース接触データを提供 - 後処理ツールボックスを統合し、深度推定やオプティカルフローなどのタスクを支援 - ユーザスタディで臨床的に現実的なデータを収集し、技能評価ネットワークで有効性を実証

3. 技術・手法の肝は?

- オフライン同期とオンライン同期の両方をサポートするマルチモーダルデータ収集フレームワーク - dVRK上に実装 - デュアルモード(オンライン/オフラインマッチング)同期レコーダ - 臨床システムと同等の画質を実現するモダンなステレオ内視鏡 - 側視カメラと新規容量性接触センサを追加し、接触データのグラウンドトゥルースを提供 - 後処理ツールボックス:深度推定、オプティカルフロー、ガウスヒートマップを用いた実用的なキネマティック再投影法 - 異なる技能レベルの参加者によるex-vivo組織を用いたユーザスタディ - 手術技能評価ネットワークを適用して収集データの利用を実証

4. どうやって有効だと検証した?

- 異なる技能レベルの参加者を対象にex-vivo組織を用いたユーザスタディを実施 - 複数の標準訓練タスクにわたり214の検証済みインスタンスからなるデータセットを取得 - 手術技能評価ネットワークを適用し、収集データの利用を実証 - 具体的な評価指標や統計結果は要旨からは不明

5. 議論はある?

- 要旨からは明示的な議論や限界は述べられていない - データセットの規模や多様性、一般化可能性に関する議論は要旨からは不明 - フレームワークのリアルタイム性能や同期精度に関する議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法として、dVRK、ステレオ内視鏡、容量性接触センサ、深度推定、オプティカルフロー、ガウスヒートマップ、手術技能評価ネットワークが挙げられる - 同分野の定番として、ロボット手術の自律化に関する研究やマルチモーダルデータセット構築の論文が考えられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoying Zhou, Chang Liu, Yimeng Wu, Junlin Wu, Zijian Wu, Yu Chung Lee, Sara Martuscelli, Spetimiu E. Salcudean, Gregory S. Fischer, Peter Kazanzides

分類: cs.RO

原文アブストラクト

Most existing robotic surgery systems adopt a human-in-the-loop paradigm, often with the surgeon directly teleoperating the robotic system. Adding intelligence to these robots would enable higher-level control, such as supervised autonomy or even full autonomy. However, artificial intelligence (AI) requires large amounts of training data, which is currently lacking. This work proposes SurgSync, a multi-modal data collection framework with offline and online synchronization to support training and real-time inference, respectively. The framework is implemented on a da Vinci Research Kit (dVRK) and introduces (1) dual-mode (online/offline-matching) synchronized recorders, (2) a modern stereo endoscope to achieve image quality on par with clinical systems, and (3) additional sensors such as a side-view camera and a novel capacitive contact sensor to provide ground truth contact data. The framework also incorporates a post-processing toolbox for tasks such as depth estimation, optical flow, and a practical kinematic reprojection method using Gaussian heatmap. User studies with participants of varying skill levels are performed with ex-vivo tissue to provide clinically realistic data, and a network for surgical skill assessment is employed to demonstrate utilization of the collected data. Through the user study experiments, we obtained a dataset of 214 validated instances across multiple canonical training tasks. All software and data are available at surgsync.github.io.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI