日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手術スキル評価arXiv:2603.00108

SurgFusion-Net: 手術スキル評価のための多様化適応型マルチモーダル融合ネットワーク

SurgFusion-Net: Diversified Adaptive Multimodal Fusion Network for Surgical Skill Assessment

シェア:XThreadsFacebookLINEはてブBluesky

手術スキル評価のための新しいマルチモーダル融合ネットワークと注意機構を提案し、臨床データセットを新たに構築して評価した。

詳しい要約

1. どんなもの?

- ロボット支援手術(RAS)における自動手術技能評価のためのマルチモーダル融合ネットワークSurgFusion-Netを提案。 - 新規融合戦略Divergence Regulated Attention (DRA)を導入。 - 臨床データセットRAH-skillとRARP-skillを新たに構築。 - 既存手法はRGBビデオのみで乾式環境に限定され、臨床現場とのドメインギャップが課題。

2. 先行研究と比べてどこがすごい?

- 既存の最先端手法はRGBビデオのみを使用し、乾式環境にのみ適用可能。 - 本研究はマルチモーダル情報を融合し、臨床現場の複雑さに対応。 - 新規臨床データセットを提供し、実臨床への適用可能性を拡大。 - JIGSAWSベンチマークでSCCがLOSOで0.02、LOUOで0.04改善。 - RAH-skillで0.0538、RARP-skillで0.0493の性能向上。

3. 技術・手法の肝は?

- DRAは適応的二重注意と多様性促進マルチヘッド注意を組み合わせ、手術コンテキストに基づき3モダリティの情報を融合。 - モダリティはRGB、オプティカルフロー、ツールセグメンテーションマスク。 - 融合により評価精度と信頼性を向上。

4. どうやって有効だと検証した?

- JIGSAWSベンチマーク、RAH-skill、RARP-skillデータセットで検証。 - 最近のベースラインと比較し、SCCの改善を確認。 - JIGSAWSタスクでLOSOとLOUOの両設定で性能向上。 - RAH-skillとRARP-skillでそれぞれ0.0538と0.0493のゲイン。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- JIGSAWSベンチマーク、RAH-skill、RARP-skillデータセットに関連する研究。 - マルチモーダル融合手法、特に注意機構を用いた手術技能評価の論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Runlong He, Freweini M. Tesfai, Matthew W. E. Boal, Nazir Sirajudeen, Dimitrios Anastasiou, Jialang Xu, Mobarak I. Hoque, Philip J. Edwards, John D. Kelly, Ashwin Sridhar, Abdolrahim Kadkhodamohammadi, Dhivya Chandrasekaran, Matthew J. Clarkson, Danail Stoyanov, Nader Francis, Evangelos B. Mazomenos

分類: cs.RO, cs.AI

原文アブストラクト

Robotic-assisted surgery (RAS) is established in clinical practice, and automated surgical skill assessment utilizing multimodal data offers transformative potential for surgical analytics and education. However, developing effective multimodal methods remains challenging due to the task complexity, limited annotated datasets and insufficient techniques for cross-modal information fusion. Existing state-of-the-art relies exclusively on RGB video and only applies on dry-lab settings, failing to address the significant domain gap between controlled simulation and real clinical cases, where the surgical environment together with camera and tissue motion introduce substantial complexities. This work introduces SurgFusion-Net and Divergence Regulated Attention (DRA), an innovative fusion strategy for multimodal surgical skill assessment. We contribute two first-of-their-kind clinical datasets: the RAH-skill dataset containing 279,691 RGB frames from 37 videos of Robot-assisted Hysterectomy (RAH), and the RARP-skill dataset containing 70,661 RGB frames from 33 videos of Robot-Assisted Radical Prostatectomy (RARP). Both datasets include M-GEARS skill annotations, corresponding optical flow and tool segmentation masks. DRA incorporates adaptive dual attention and diversity-promoting multi-head attention to fuse multimodal information, from three modalities, based on surgical context, enhancing assessment accuracy and reliability. Validated on the JIGSAWS benchmark, RAH-skill, and RARP-skill datasets, our approach outperforms recent baselines with SCC improvements of 0.02 in LOSO, 0.04 in LOUO across JIGSAWS tasks, and 0.0538 and 0.0493 gains on RAH-skill and RARP-skill, respectively.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI