開放手術でのメス引き継ぎを実現するゼロショットsim-to-realロボット支援

- 開腹手術における surgeon-robot collaboration タスク「retractor take-over」を対象とした研究 - ロボットアームが surgeon の手から retractor を受け取り、handoff 時に retraction を保持する - シミュレーションのデモのみで学習した policy を用い、human demonstration や real-world fine-tuning なしの zero-shot sim-to-real transfer を実現 - フレームワーク名は SimRetract - 外科支援タスクにおける初の zero-shot sim-to-real transfer の実証を主張

- 実デモからの imitation learning は収集・ラベリングコストと環境変化時の性能劣化が課題 - 本研究は human demonstration も real-world fine-tuning も不要 - シミュレーションのみで学習し zero-shot で実機に展開 - 開腹手術の surgeon-robot collaboration における zero-shot sim-to-real transfer は初と主張 - 10 種類の policy 構成、1,200 回の simulated/real trial で sim-to-real gap を構成要素ごとに局所化

- transfer を意図した simulated demonstration を生成 - policy は masked instrument images と grasp geometry を観測 - off-nominal state からの recovery を学習 - 実行時の drift に margin を持たせて行動 - 10 構成の ablation で各要素の寄与を検証 - 実機で instrument mask を外すと 22% grasped / 12% held まで低下し、mask の重要性を確認

- 実機 zero-shot 展開で 50 回の surgeon-defined phantom presentation を評価 - retractor 把持率 90%、handoff 時の retraction 保持率 78% - 未見の retractor でも類似 grasp geometry への汎化可能性を示唆 - 10 policy 構成・1,200 simulated/real trial で評価 - simulation では ablation 間の grasp rate が 80-96% の範囲

- sim-to-real gap を構成要素単位に局所化できたと主張 - instrument mask の除去が実機性能を大きく低下させることが判明 - 未見 retractor への汎化は類似 grasp geometry の器具に限られる可能性 - phantom での評価であり、実際の手術環境での検証は要旨からは不明 - 把持 90% に対し保持 78% であり handoff 保持に改善余地

- imitation learning from real demonstrations の関連研究 - sim-to-real transfer 一般（domain randomization 等の定番手法） - surgical robot の surgeon-robot collaboration 研究 - retractor 以外の surgical instrument handover 研究 - masked instrument images を用いた vision-based policy 研究