日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手術ロボット/世界モデルarXiv:2510.16240

Cosmos-Surg-dVRK:世界基盤モデルによる手術ロボット方策学習の自動オンライン評価

Cosmos-Surg-dVRK: World Foundation Model-based Automated Online Evaluation of Surgical Robot Policy Learning

シェア:XThreadsFacebookLINEはてブBluesky

手術ロボット向け世界基盤モデルCosmos-Surg-dVRKを構築し、映像分類器と組み合わせて方策の自動オンライン評価を実現、実機dVRKとの相関を確認した。

詳しい要約

1. どんなもの?

- 手術ロボット(dVRK)向けの自律手術ポリシーを、実機ではなくWorld foundation model(WFM)上で自動評価する枠組み - Cosmos WFMを手術向けにfinetuneしたCosmos-Surg-dVRKと、学習済みvideo classifierを組み合わせる - 実機評価の高コスト・時間・再現性・実行ばらつきの問題を緩和する狙い - 対象はsoft tissue deformation等を含む手術タスクのonline rollouts評価とbenchmarking

2. 先行研究と比べてどこがすごい?

- 従来はdVRKなどの実機プラットフォーム上での直接評価が中心で、コスト・時間・再現性・実行変動が障壁 - 本研究はWFMによる高忠実度シミュレーションで評価を代替/自動化する点が新しい - 単なる生成モデルではなく、video classifierと組み合わせてonline評価パイプラインを構成 - 実機dVRK Si上のポリシー結果との相関を示す点が先行研究との差分(具体的な比較対象は要旨からは不明)

3. 技術・手法の肝は?

- Cosmos WFMを手術データでfinetuneしCosmos-Surg-dVRKを構築 - 学習済みvideo classifier(V-JEPA 2由来)でrollout結果を自動判定 - これらを統合し、ポリシーのonline評価・benchmarkingを全自動化 - 評価は2つの手術データセットで実施(tabletop suture pad、ex-vivo porcine cholecystectomy)

4. どうやって有効だと検証した?

- tabletop suture padタスクで、Cosmos-Surg-dVRK上のonline rolloutsと実機dVRK Si上のポリシー結果の間に強い相関を確認 - 同タスクでhuman labelerとV-JEPA 2由来video classifierの判定が良好に一致 - ex-vivo porcine cholecystectomyタスクでも予備実験として実世界評価との整合性を示唆 - 定量指標の詳細は要旨からは不明

5. 議論はある?

- 実機評価の代替可能性を相関で示すが、対象は限定的なタスク設定 - ex-vivo porcine cholecystectomyは予備実験段階であり、複雑手術への一般化は今後の課題 - soft tissue deformation等の高忠実度再現の限界や、classifier判定の信頼性は要旨からは不明 - 実機との完全一致ではなく相関・整合性の範囲にとどまる点に注意

6. 次に読むべき論文は?

- Cosmos WFM(World foundation model)の原論文 - V-JEPA 2(video classifierの基盤) - dVRK / da Vinci Research Kit関連の手術ロボットポリシー評価研究 - 手術用vision-language-actionモデル(VLA)の研究 - 手術シミュレーション/soft tissue deformationモデリングの関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lukas Zbinden, Nigel Nelson, Juo-Tung Chen, Xinhao Chen, Ji Woong Kim, Mahdi Azizian, Axel Krieger, Sean Huver

分類: cs.RO

原文アブストラクト

The rise of surgical robots and vision-language-action models has accelerated the development of autonomous surgical policies and efficient assessment strategies. However, evaluating these policies directly on physical robotic platforms such as the da Vinci Research Kit (dVRK) remains hindered by high costs, time demands, reproducibility challenges, and variability in execution. World foundation models (WFM) for physical AI offer a transformative approach to simulate complex real-world surgical tasks, such as soft tissue deformation, with high fidelity. This work introduces Cosmos-Surg-dVRK, a surgical finetune of the Cosmos WFM, which, together with a trained video classifier, enables fully automated online evaluation and benchmarking of surgical policies. We evaluate Cosmos-Surg-dVRK using two distinct surgical datasets. On tabletop suture pad tasks, the automated pipeline achieves strong correlation between online rollouts in Cosmos-Surg-dVRK and policy outcomes on the real dVRK Si platform, as well as good agreement between human labelers and the V-JEPA 2-derived video classifier. Additionally, preliminary experiments with ex-vivo porcine cholecystectomy tasks in Cosmos-Surg-dVRK demonstrate promising alignment with real-world evaluations, highlighting the platform's potential for more complex surgical procedures.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI