日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手術ロボティクスarXiv:2606.23593

ロボット支援手術におけるリアルタイム多感覚活動認識エラー検出

Real-Time Multimodal Activity-Aware Error Detection in Robot-Assisted Surgery

シェア:XThreadsFacebookLINEはてブBluesky

ロボット支援手術中の技術的エラーを、ビデオ・運動学・テキストのマルチモーダル情報と活動プロンプトを統合して検出する枠組みを提案し、既存手法より高いF1スコアを達成した。

詳しい要約

1. どんなもの?

本論文は、Robot-assisted minimally invasive surgery(RAMIS)におけるexecutional error detectionのための統合フレームワークを提案する。video、kinematics、descriptive textual promptsのmultimodal入力を用い、activity promptingによりgesture-level activities、instrument-object interactions、error definitionsの記述言語を統合する。また、surgical activity labelsでpretrainされたvision encodersからactivity-aware visual embeddingsを導入し、contrastive language-image embeddingsと従来のimage-based embeddingsの有効性を比較する。kinematic dataをvideoとtextual modalitiesに統合することで、error detection性能…

2. 先行研究と比べてどこがすごい?

従来のvideo dataを用いたexecutional error detection手法は、surgical proceduresの階層構造内でのactivitiesやerror typesのfine-grained contextual descriptionsを軽視し、complementary multimodal informationを十分に活用していなかった。提案フレームワークは、multimodal入力とactivity promptingを統合し、JIGSAWSとSAR-RARP50 datasetsでstate-of-the-art baselinesに対しそれぞれ最大5%と16.6%のF1 score改善を達成した点がすごい。

3. 技術・手法の肝は?

技術の肝は、video、kinematics、descriptive textual promptsを統合するunified frameworkにある。activity promptingにより、gesture-level activities、instrument-object interactions、error definitionsの記述言語を組み込む。さらに、surgical activity labelsでpretrainされたvision encodersからactivity-aware visual embeddingsを導出し、contrastive language-image embeddingsと従来のimage-based embeddingsを比較する。kinematic dataをvideoとtextual modalitiesにseamlesslyに統合する点が特徴。

4. どうやって有効だと検証した?

JIGSAWSとSAR-RARP50 datasetsを用いて評価し、state-of-the-art baselinesと比較してF1 scoreがそれぞれ最大5%と16.6%向上したことで有効性を検証した。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究として、video dataを用いたcurrent executional error detection methods、contrastive language-image embeddings、image-based embeddings、JIGSAWS、SAR-RARP50 datasetsが挙げられる。関連手法として、surgical activity recognitionやmultimodal learningの研究が次に読むべき論文候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seyed Hamid Reza Roodabeh, Zongyu Li, Homa Alemzadeh

分類: cs.RO, cs.CV

原文アブストラクト

Robot-assisted minimally invasive surgery improves surgical precision but introduces complexity, making technical error detection essential for ensuring patient safety. Current executional error detection methods using video data often overlook fine-grained contextual descriptions of activities and error types within the hierarchical structure of surgical procedures. They also under-utilize complementary multimodal information. We propose a unified framework for executional error detection that leverages multimodal input, including video, kinematics, and descriptive textual prompts. Through activity prompting, we integrate descriptive language in gesture-level activities, instrument-object interactions, and error definitions. We also introduce activity-aware visual embeddings derived from vision encoders pretrained on surgical activity labels to compare the effectiveness of contrastive language-image embeddings with traditional image-based embeddings for error detection. By seamlessly integrating kinematic data with video and textual modalities, our framework significantly improves error detection performance. Achieving up to 5\% and 16.6\% F1 score improvements over state-of-the-art baselines on the JIGSAWS and SAR-RARP50 datasets, respectively, we demonstrate the value of combining curated textual prompts with multimodal data for accurate error detection.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI