日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手術動画生成/世界モデルarXiv:2610.15645

SurgCast: 手術世界モデルを制御するための行動条件付き未来骨格予測

SurgCast: Action-Conditioned Future Skeletons for Controllable Surgical World Models

シェア:XThreadsFacebookLINEはてブBluesky

現在の構造・ロボット状態・将来の行動から手術器具の未来骨格を予測し、それを用いて手術動画生成を制御する手法を提案。

詳しい要約

1. どんなもの?

- 手術用 world model の新手法 SurgCast を提案。 - 現在の構造・robot state・将来の action から将来の instrument skeleton を予測。 - その予測を動画生成の制御に用いる。 - 手術映像の instrument motion を視覚的・構造的に整合させる狙い。

2. 先行研究と比べてどこがすごい?

- 従来の direct-action baseline と比較。 - teacher と student の両方で7つの品質・instrument 一貫性指標を改善。 - teacher の FVD がそれぞれ 37.6% と 67.3% 減少。 - 予測 articulated structure と motion semantics を制御 interface として使う点が新しい。

3. 技術・手法の肝は?

- 将来の instrument skeleton を予測し、それを動画生成の制御に使う。 - Dual-path injection を採用。 - skeleton geometry と instrument-specific motion descriptors を geometric residuals と conditioning modulation で注入。 - 両 path は native action conditioning を補完。 - four-step causal student に保持。

4. どうやって有効だと検証した?

- SutureBot と SRTH-Porcine-Cholei で評価。 - teacher と student が各 direct-action baseline より7指標すべて改善。 - teacher FVD が 37.6% と 67.3% 減少。 - ablation で future actions が skeleton prediction を改善。 - 予測 skeleton 下で両 injection path の組合せが6指標すべてで最良。

5. 議論はある?

- 予測 articulated structure と motion semantics を手術映像予測の制御 interface として使うことを支持。 - 限界や失敗例、計算コスト、臨床応用の議論は要旨からは不明。

6. 次に読むべき論文は?

- direct-action baseline との比較が示されている。 - 関連手法として world models、video generation、skeleton-based motion prediction、surgical video prediction の定番研究を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wanhao Liu, Rulin Zhou, Liangjing Shao, Zhaocheng Lin, Dongyue Li, Jinsong Lin, Guoheng Ma, Hangheng Yang, Zhiqing Tang, Jing Chen, Panshuo Li, Hongliang Ren

分類: cs.CV

原文アブストラクト

Surgical world models must turn prospective robot actions into visually faithful, structurally consistent instrument motion. We introduce SurgCast, which predicts future instrument skeletons from current structure, robot state, and future actions, then uses the forecast to control video generation. Dual-path injection combines skeleton geometry with derived, instrument-specific motion descriptors through geometric residuals and conditioning modulation. Both paths complement native action conditioning and are retained in a four-step causal student. On SutureBot and SRTH-Porcine-Cholei, the teacher and student improve all seven reported quality and instrument-consistency metrics over their respective direct-action baselines; teacher FVD decreases by 37.6% and 67.3%. Ablations show that future actions improve skeleton prediction and that combining both injection paths performs best across all six metrics under predicted skeletons. These results support using predicted articulated structure and its motion semantics as a control interface for surgical video prediction. Project videos and examples are available at https://surgcast.netlify.app/.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI