日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手術ロボティクスarXiv:2602.12407

MiDAS: ロボット支援低侵襲手術のためのマルチモーダルデータ取得システムとデータセット

MiDAS: A Multimodal Data Acquisition System and Dataset for Robot-Assisted Minimally Invasive Surgery

シェア:XThreadsFacebookLINEはてブBluesky

専用のロボットインターフェースを必要とせず、手術ロボットの手・足・映像データを時間同期して取得するオープンソースシステムを開発し、ジェスチャー認識で専用計測に匹敵する性能を確認した。

詳しい要約

1. どんなもの?

- RMIS研究向けのオープンソースでプラットフォーム非依存なマルチモーダルデータ取得システムMiDASを提案。 - 電磁気・RGB-Dハンドトラッキング、フットペダルセンシング、手術ビデオを時間同期して非侵襲的に取得。 - ロボットの専用インターフェースを必要とせず、Raven-IIとda Vinci Xiで検証。 - ペグ移動とヘルニア修復縫合タスクのマルチモーダルデータセットを収集し、注釈付きで公開。

2. 先行研究と比べてどこがすごい?

- 従来はロボットのテレメトリが専有でアクセス困難だったが、MiDASは非侵襲的な外部センシングで代替。 - 専有テレメトリに匹敵するジェスチャー認識性能を非侵襲モーション信号で達成。 - 高忠実度シミュレーションモデル上でのヘルニア修復縫合を捉えた初のマルチモーダルデータセットを提供。

3. 技術・手法の肝は?

- 電磁気・RGB-Dハンドトラッキング、フットペダルセンシング、手術ビデオを統合し時間同期。 - ロボットの専用インターフェースを必要としない非侵襲的取得。 - 相関分析と下流のジェスチャー認識実験を実施。

4. どうやって有効だと検証した?

- Raven-IIとda Vinci Xi上で、外科レジデントによるペグ移動とヘルニア修復縫合タスクのデータを収集。 - 外部ハンド・フットセンシングが内部ロボットキネマティクスを近似することを相関分析で確認。 - 非侵襲モーション信号によるジェスチャー認識が専有テレメトリと同等の性能を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Raven-II、da Vinci Xi、およびRMISのマルチモーダルデータ収集・ジェスチャー認識に関する関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Keshara Weerasinghe, Seyed Hamid Reza Roodabeh, Andrew Hawkins, Zhaomeng Zhang, Zachary Schrader, Homa Alemzadeh

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Background: Robot-assisted minimally invasive surgery (RMIS) research increasingly relies on multimodal data, yet access to proprietary robot telemetry remains a major barrier. We introduce MiDAS, an open-source, platform-agnostic system enabling time-synchronized, non-invasive multimodal data acquisition across surgical robotic platforms. Methods: MiDAS integrates electromagnetic and RGB-D hand tracking, foot pedal sensing, and surgical video capturing without requiring proprietary robot interfaces. We validated MiDAS on the open-source Raven-II and the clinical da Vinci Xi by collecting multimodal datasets of peg transfer and hernia repair suturing tasks performed by surgical residents. Correlation analysis and downstream gesture recognition experiments were conducted. Results: External hand and foot sensing closely approximated internal robot kinematics and non-invasive motion signals achieved gesture recognition performance comparable to proprietary telemetry. Conclusion: MiDAS enables reproducible multimodal RMIS data collection and is released with annotated datasets, including the first multimodal dataset capturing hernia repair suturing on high-fidelity simulation models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI