日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2508.11200

手術ロボットのための世界モデルを用いた視覚運動把持

Visuomotor Grasping with World Models for Surgical Robots

シェア:XThreadsFacebookLINEはてブBluesky

手術ロボットにおける把持を自動化するため、世界モデルベースの視覚運動学習フレームワークGASv2を提案し、単一ステレオカメラのみで多様な未見物体への把持を実現した。

詳しい要約

1. どんなもの?

- 手術支援ロボット(RAS)における把持タスクの自動化を目指す研究 - 提案手法はGrasp Anything for Surgery V2 (GASv2) と呼ぶvisuomotor学習フレームワーク - world-model-based architecture と surgical perception pipeline、hybrid control system を組み合わせる - 単一のstereo camera pair(内視鏡カメラ)のみを用いる - 単一ポリシーで多様な未見の手術対象物を把持するobject-agnostic grasping を狙う

2. 先行研究と比べてどこがすごい?

- 従来手法はexplicit object pose tracking や handcrafted visual features に依存 - 新規物体への汎化、視覚的妨害への頑健性、deformable objects への対応が制限される - GASv2 はvisuomotor learning によりこれらを回避 - 単一ポリシーで再学習やタスク特化モデルなしに多様な未見物体へ汎化 - 単一のstereo camera pair という標準的なRAS構成のみでvisuomotor学習を実現 - ex vivo surgical scenes へのsim-to-real transfer を実現

3. 技術・手法の肝は?

- world-model-based architecture を採用 - surgical perception pipeline で視覚観測を処理 - hybrid control system により安全な実行を担保 - シミュレーションでdomain randomization を用いてポリシーを訓練しsim-to-real transfer - 入力は単一のstereo camera pair(内視鏡カメラ) - object-agnostic な単一ポリシーで把持を実行

4. どうやって有効だと検証した?

- 実ロボットに展開し、phantom-based と ex vivo surgical の両設定で評価 - 両設定で65%のsuccess rate を達成 - 未見物体や未見gripperへの汎化を確認 - 多様なdisturbances への適応を確認 - 性能・汎用性・頑健性を示すと報告

5. 議論はある?

- 65%のsuccess rate は一定の性能を示すが、手術応用としては更なる改善余地あり - 安全性とmillimeter-level precision の要求への対応が課題として背景にある - 視覚観測のlow signal-to-noise ratio や複雑な手術環境への対処が論点 - 具体的な失敗要因や限界の詳細は要旨からは不明 - 実手術(生体)での検証は要旨からは不明

6. 次に読むべき論文は?

- world-model-based architecture の関連研究(World Models) - visuomotor learning / imitation learning の手術応用研究 - domain randomization によるsim-to-real transfer の研究 - surgical perception pipeline の関連研究 - 比較対象としてexplicit object pose tracking や handcrafted visual features を用いる従来のRAS grasping 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongbin Lin, Bin Li, Kwok Wai Samuel Au

分類: cs.RO, cs.AI

原文アブストラクト

Grasping is a fundamental task in robot-assisted surgery (RAS), and automating it can reduce surgeon workload while enhancing efficiency, safety, and consistency beyond teleoperated systems. Most prior approaches rely on explicit object pose tracking or handcrafted visual features, limiting their generalization to novel objects, robustness to visual disturbances, and the ability to handle deformable objects. Visuomotor learning offers a promising alternative, but deploying it in RAS presents unique challenges, such as low signal-to-noise ratio in visual observations, demands for high safety and millimeter-level precision, as well as the complex surgical environment. This paper addresses three key challenges: (i) sim-to-real transfer of visuomotor policies to ex vivo surgical scenes, (ii) visuomotor learning using only a single stereo camera pair -- the standard RAS setup, and (iii) object-agnostic grasping with a single policy that generalizes to diverse, unseen surgical objects without retraining or task-specific models. We introduce Grasp Anything for Surgery V2 (GASv2), a visuomotor learning framework for surgical grasping. GASv2 leverages a world-model-based architecture and a surgical perception pipeline for visual observations, combined with a hybrid control system for safe execution. We train the policy in simulation using domain randomization for sim-to-real transfer and deploy it on a real robot in both phantom-based and ex vivo surgical settings, using only a single pair of endoscopic cameras. Extensive experiments show our policy achieves a 65% success rate in both settings, generalizes to unseen objects and grippers, and adapts to diverse disturbances, demonstrating strong performance, generality, and robustness.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI