手術計画・VLM評価2026/1/1arXiv:2601.10455

SurgGoal: 目標充足可能性による手術計画評価の再考

SurgGoal: Rethinking Surgical Planning Evaluation via Goal-Satisfiability

手術計画の正しさを専門家定義の目標充足可能性で評価するベンチマークを提案し、従来の類似度指標が有効な計画を誤って低評価し無効な計画を見逃すことを示した。

詳しい要約

1. どんなもの？

- 外科手術計画の評価を目的とした研究。 - 計画の正しさをphase-goal satisfiabilityで定義。 - 専門家定義の外科ルールに基づく。 - 多施設メタ評価ベンチマークを導入。 - 有効な手順変異と無効な計画（順序・内容エラー）を含む。 - Video-LLMsの評価を実施。

2. 先行研究と比べてどこがすごい？

- 従来のsequence similarity metricsは計画品質を誤判定。 - 有効な計画を罰し、無効な計画を特定できない。 - ルールベースのgoal-satisfiability metricを採用。 - 高精度なメタ評価参照として機能。 - より信頼性の高い評価を実現。

3. 技術・手法の肝は？

- phase-goal satisfiabilityに基づく計画正しさの定義。 - 専門家定義の外科ルールを利用。 - 多施設メタ評価ベンチマークの構築。 - 有効な手順変異と無効な計画を含む。 - ルールベースのgoal-satisfiability metricをメタ評価参照として使用。 - Video-LLMsを段階的に制約された設定で評価。

4. どうやって有効だと検証した？

- 多施設メタ評価ベンチマークを使用。 - 有効な手順変異と無効な計画（順序・内容エラー）を含む。 - sequence similarity metricsの誤判定を実証。 - ルールベースのgoal-satisfiability metricでVideo-LLMsを評価。 - 知覚エラーと制約不足の推論による失敗を明らかに。 - 構造的知識が性能を一貫して改善することを示す。

5. 議論はある？

- 現在の評価プロトコルが安全クリティカルな設定でVLMを信頼性高く評価できるか不明。 - sequence similarity metricsは計画品質を系統的に誤判定。 - 構造的知識は性能を改善するが、意味的ガイダンスのみは信頼できない。 - 意味的ガイダンスは構造的制約と組み合わせた場合のみ大規模モデルに利益。 - 知覚エラーと制約不足の推論が失敗原因。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、Video-LLMs、surgical planning、vision-language models (VLMs) に関する論文を挙げる。 - 具体的には、surgical phase recognitionやlong-horizon reasoningの研究が関連。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruochen Li, Kun Yuan, Yufei Xia, Yue Zhou, Qingyu Lu, Weihang Li, Youxiang Zhu, Nassir Navab

分類: cs.CL, cs.RO

原文アブストラクト

Surgical planning integrates visual perception, long-horizon reasoning, and procedural knowledge, yet it remains unclear whether current evaluation protocols reliably assess vision-language models (VLMs) in safety-critical settings. Motivated by a goal-oriented view of surgical planning, we define planning correctness via phase-goal satisfiability, where plan validity is determined by expert-defined surgical rules. Based on this definition, we introduce a multicentric meta-evaluation benchmark with valid procedural variations and invalid plans containing order and content errors. Using this benchmark, we show that sequence similarity metrics systematically misjudge planning quality, penalizing valid plans while failing to identify invalid ones. We therefore adopt a rule-based goal-satisfiability metric as a high-precision meta-evaluation reference to assess Video-LLMs under progressively constrained settings, revealing failures due to perception errors and under-constrained reasoning. Structural knowledge consistently improves performance, whereas semantic guidance alone is unreliable and benefits larger models only when combined with structural constraints.

arXivで原文を読む →arXiv概要ページ

← 論文一覧