日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手術映像生成/世界モデルarXiv:2603.13024

SAW: 制御可能かつスケーラブルなビデオ生成による手術アクション世界モデルへの一歩

SAW: Toward a Surgical Action World Model via Controllable and Scalable Video Generation

シェア:XThreadsFacebookLINEはてブBluesky

手術映像生成のための世界モデルを提案し、軽量な条件付け信号(言語、参照シーン、組織アフォーダンスマスク、2Dツール軌跡)を用いたビデオ拡散モデルを構築した。時間的一貫性と視覚品質を向上させ、手術AIのデータ不足やシミュレーションから実環境へのギャップ解消に貢献する。

詳しい要約

1. どんなもの?

- 外科手術のaction videoを生成するsurgical world modelの提案 - 4つの軽量条件信号で制御可能なvideo diffusion - language prompts (tool-action context) - reference surgical scene - tissue affordance mask - 2D tool-tip trajectories - 12,044 laparoscopic clipsでbackbone diffusion modelをfine-tune - 下流応用: surgical AI (action recognition) と surgical simulation

2. 先行研究と比べてどこがすごい?

- 従来のvideo generationは高価なannotationや複雑な構造中間表現を条件に必要としscalabilityが低い - 他の手法は複雑なlaparoscopic sceneでのtemporal consistencyが限定的でrealismも不十分 - SAWは軽量信号のみで条件付けし、temporal consistencyでSOTA (CD-FVD: 199.19 vs. 546.82) - 推論時にdepth不要でgeometric plausibilityを実現

3. 技術・手法の肝は?

- video-to-video diffusionをtrajectory-conditioned surgical action synthesisに再定式化 - 4つの軽量spatiotemporal conditioning signalsを利用 - 独自キュレーションした12,044 laparoscopic clipsでbackbone diffusion modelをfine-tune - depth consistency lossで幾何的妥当性を強制 (推論時depth不要)

4. どうやって有効だと検証した?

- held-out test dataでtemporal consistency (CD-FVD: 199.19 vs. 546.82) とvisual qualityを評価 - 下流応用(a) surgical AI: SAW生成videoでrare actionsをaugmentし、real test dataでのaction recognition改善 (clipping F1: 20.93%→43.14%; cutting: 0.00%→8.33%) - 下流応用(b) surgical simulation: simulator由来のtrajectory pointsからtool-tissue interaction videoをrender

5. 議論はある?

- 要旨からは不明 - 限界や失敗例、計算コスト、汎化性に関する議論は記載なし

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法としてvideo diffusion models, surgical world models, sim-to-real transfer, action recognition in surgeryなどが挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sampath Rapuri, Lalithkumar Seenivasan, Dominik Schneider, Roger Soberanis-Mukul, Yufan He, Hao Ding, Jiru Xu, Chenhao Yu, Chenyan Jing, Pengfei Guo, Daguang Xu, Mathias Unberath

分類: cs.CV, cs.AI, cs.LG, eess.IV

原文アブストラクト

A surgical world model capable of generating realistic surgical action videos with precise control over tool-tissue interactions can address fundamental challenges in surgical AI and simulation -- from data scarcity and rare event synthesis to bridging the sim-to-real gap for surgical automation. However, current video generation methods, the very core of such surgical world models, require expensive annotations or complex structured intermediates as conditioning signals at inference, limiting their scalability. Other approaches exhibit limited temporal consistency across complex laparoscopic scenes and do not possess sufficient realism. We propose Surgical Action World (SAW) -- a step toward surgical action world modeling through video diffusion conditioned on four lightweight signals: language prompts encoding tool-action context, a reference surgical scene, tissue affordance mask, and 2D tool-tip trajectories. We design a conditional video diffusion approach that reformulates video-to-video diffusion into trajectory-conditioned surgical action synthesis. The backbone diffusion model is fine-tuned on a custom-curated dataset of 12,044 laparoscopic clips with lightweight spatiotemporal conditioning signals, leveraging a depth consistency loss to enforce geometric plausibility without requiring depth at inference. SAW achieves state-of-the-art temporal consistency (CD-FVD: 199.19 vs. 546.82) and strong visual quality on held-out test data. Furthermore, we demonstrate its downstream utility for (a) surgical AI, where augmenting rare actions with SAW-generated videos improves action recognition (clipping F1-score: 20.93% to 43.14%; cutting: 0.00% to 8.33%) on real test data, and (b) surgical simulation, where rendering tool-tissue interaction videos from simulator-derived trajectory points toward a visually faithful simulation engine.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI