SurgFlow: 手術ロボット操作のための3Dオブジェクト中心コンタクトフロー
SurgFlow: 3D Object-Centric Contact Flow for Surgical Robot Manipulation
ステレオ手術動画から3Dオブジェクト中心のコンタクトフローを学習し、接触スコアで把持・解放をトリガーすることで、dVRKでの組織牽引や針の受け渡しなどを高成功率で実現したフレームワーク。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Changwei Chen, Xiao Liang, Yinuo Yang, Nicole Shen, Peihan Zhang, Sara Wickenhiser, Zekai Liang, Soofiyan Atar, Michael Yip
分類: cs.RO
原文アブストラクト
Paired video-action demonstrations enable autonomous surgical behavior, but such data is scarce: robots perform roughly 1% of surgeries, while video-only data is abundant. Learning 3D object flow offers an embodiment-agnostic way to utilize video data, but flow alone specifies how an object should move, not where and when the tool should engage it, a distinction that is critical in surgery. We introduce SurgFlow, a framework that learns 3D Object-Centric Contact Flow from stereo surgical video without action labels. For each object point, it predicts a future 3D trajectory and contact scores. We extract targets via 3D tracking and tool-object proximity, train a flow matching generator to predict them, and use predicted contact to trigger grasp and release while optimizing end effector motion from flow. On the da Vinci Research Kit (dVRK), SurgFlow succeeds in 37 of 39 stage evaluations across tissue retraction, bimanual reveal, needle pickup, and handover, outperforming baselines trained on equal data with or without action labels. Zero-shot transfer to a humanoid-based laparoscopic robot achieves 85% and 70% average success under similar and novel camera viewpoints, respectively.
関連論文
- SurgiPose: 単眼手術動画からの手術器具キネマティクス推定による手術ロボット学習手術ロボット/模倣学習
- SuFIA-BC: 手術サブタスクにおける視覚運動ポリシー学習のための高品質デモンストレーションデータ生成手術ロボット/模倣学習
- dARt Vinci: 手術ロボット学習のための大規模一人称視点データ収集手術ロボット/模倣学習
- 手術ロボット自動操作のための拡散安定化ポリシー手術ロボット/模倣学習
- Actor-Criticフレームワークと自己教師あり模倣学習による手術タスク自動化手術ロボット/模倣学習
