日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手術AIarXiv:2603.22583

手術ビデオからの時間的マッピングを実現する視覚言語モデルとプラットフォーム

A vision-language model and platform for temporally mapping surgery from video

シェア:XThreadsFacebookLINEはてブBluesky

手術ビデオから外科医の行動を時間的にマッピングする視覚言語モデル「Halsted」と、外科医が自身の手術を自動マッピングできるウェブプラットフォームを開発した。

詳しい要約

1. どんなもの?

- 手術映像から外科医の行動を時系列でマッピングする vision-language model とプラットフォーム。 - Halsted というモデルを Halsted Surgical Atlas (HSA) で学習。 - HSA は 8 外科専門分野にわたる 650,000 以上の動画を含む注釈付きライブラリ。 - ベンチマーク用に HSA-27k を公開。 - Halsted web platform で世界中の外科医が自分の手術を数分で自動マッピング可能。

2. 先行研究と比べてどこがすごい?

- 従来モデルは単一手術内の限られた行動要素のみを捉え、範囲が狭い。 - 臨床現場の外科医が利用しにくく、translational value が限定的。 - Halsted は手術活動のマッピングで previous state-of-the-art を上回る。 - より包括的で計算効率も高い。 - プラットフォームにより外科医が直接使える点で翻訳ギャップを橋渡し。

3. 技術・手法の肝は?

- vision-language model を Halsted Surgical Atlas (HSA) で学習。 - HSA は iterative self-labelling framework で成長させた包括的注釈付き動画ライブラリ。 - 8 外科専門分野、650,000 以上の動画を包含。 - ベンチマーク用サブセット HSA-27k を公開。 - Halsted web platform で自動マッピングを提供。

4. どうやって有効だと検証した?

- Halsted が previous state-of-the-art models を上回ることを示した。 - 手術活動のマッピング性能で比較。 - 包括性と計算効率でも優位性を報告。 - ベンチマーク用 HSA-27k を公開。 - 詳細な検証方法は要旨からは不明。

5. 議論はある?

- 手術 AI の translational gap を橋渡しすることを目指す。 - 非構造化手術映像データを標準化し、外科医に直接アクセス可能に。 - 臨床展開と autonomous robotic surgery への道を開く。 - 限界や課題についての具体的議論は要旨からは不明。

6. 次に読むべき論文は?

- Halsted Surgical Atlas (HSA) および HSA-27k に関連する研究。 - previous state-of-the-art models(具体的名称は要旨からは不明)。 - autonomous robotic surgery に関する研究。 - 手術映像マッピングの vision-language model 関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dani Kiyasseh

分類: cs.CV, cs.RO

原文アブストラクト

Mapping surgery is fundamental to developing operative guidelines and enabling autonomous robotic surgery. Recent advances in artificial intelligence (AI) have shown promise in mapping the behaviour of surgeons from videos, yet current models remain narrow in scope, capturing limited behavioural components within single procedures, and offer limited translational value, as they remain inaccessible to practising surgeons. Here we introduce Halsted, a vision-language model trained on the Halsted Surgical Atlas (HSA), one of the most comprehensive annotated video libraries grown through an iterative self-labelling framework and encompassing over 650,000 videos across eight surgical specialties. To facilitate benchmarking, we publicly release HSA-27k, a subset of the Halsted Surgical Atlas. Halsted surpasses previous state-of-the-art models in mapping surgical activity while offering greater comprehensiveness and computational efficiency. To bridge the longstanding translational gap of surgical AI, we develop the Halsted web platform (https://halstedhealth.ai/) to provide surgeons anywhere in the world with the previously-unavailable capability of automatically mapping their own procedures within minutes. By standardizing unstructured surgical video data and making these capabilities directly accessible to surgeons, our work brings surgical AI closer to clinical deployment and helps pave the way toward autonomous robotic surgery.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI