日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手術ロボティクス/カメラ制御arXiv:2608.07876

SurgLAT: 深度認識ロボット腹腔鏡制御のための外科的潜在注意追跡

SurgLAT: Surgical Latent Attention Tracking for Depth-Aware Robotic Laparoscope Control

シェア:XThreadsFacebookLINEはてブBluesky

本論文は、動的な手術シーンにおける外科医の意図を潜在的な注意状態として追跡し、自律的な腹腔鏡カメラ制御を行うフレームワークSurgLATを提案する。凍結DINOv3エンコーダと状態条件付きトークンミキサーを用いて注意をモデル化し、RCM制約を考慮したロボット展開を実現する。

詳しい要約

1. どんなもの?

SurgLATは、腹腔鏡手術における自律的なカメラ制御のためのオンライン因果フレームワークである。外科医の手術意図を、安定した物理的対象ではなく、時間的に進化する潜在的な注意状態としてモデル化し、この潜在的な外科的注意状態を追跡・デコードして、内視鏡ガイダンスのための確率的注意ヒートマップと手術領域を生成する。さらに、仮想軸に基づく明示的なRCM制約付きロボット制御と冗長性を考慮したヌル空間初期化を備えた展開フレームワークを含む。

2. 先行研究と比べてどこがすごい?

先行研究では、手術対象領域を物理的な物体として追跡することが多かったが、SurgLATは、動的な手術シーンにおいて対象領域が安定した物体ではなく、潜在的に時間変化する注意状態であるという点に着目し、これをモデル化する点が新しい。また、凍結したDINOv3エンコーダと状態条件付き空間トークンミキサー、選択的因果潜在記憶モジュールを用いて、短期的な動きの連続性と長期的な手術意図の進化を共同でモデル化する点が独自性が高い。

3. 技術・手法の肝は?

手法の核は、(1)凍結したDINOv3エンコーダと状態条件付き空間トークンミキサーを用いて、記憶誘導型の空間事前分布の下で手術エビデンスを抽出すること、(2)選択的因果潜在記憶モジュールが、現在・最近・過去の潜在状態の動的検索を通じて、短期的な動きの連続性と長期的な意図の進化をモデル化すること、(3)学習された潜在注意状態を確率的注意ヒートマップと手術領域にデコードすること、(4)仮想軸定式化に基づく明示的なRCM制約付き制御と冗長性を考慮したヌル空間初期化によるロボット展開フレームワークである。

4. どうやって有効だと検証した?

実手術ビデオと物理的なロボット腹腔鏡プラットフォームを用いて、システム全体を検証した。その結果、閉塞、急速な動き、対象遷移の下で、堅牢なオンライン手術領域追跡と安定した自律的内視鏡調整を実証した。

5. 議論はある?

要旨からは、潜在的な手術意図モデリングの有効性が示唆されるが、具体的な限界や議論については不明である。例えば、DINOv3エンコーダの凍結が一般化に与える影響や、提案手法の計算コスト、他の手術タイプへの適用可能性などは議論されていない。

6. 次に読むべき論文は?

要旨で参照されているDINOv3エンコーダに関する論文、および関連する手術注意追跡や自律的内視鏡制御の研究が挙げられる。具体的には、DINOv3の元論文や、腹腔鏡カメラ制御のための深層強化学習や物体追跡を用いた先行研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rulin Zhou, Qiujie Song, Yujie Ma, An Wang, Wanhao Liu, Guoheng Ma, Yidu Wang, Guankun Wang, Xingrong Diao, Jiankun Wang, Chaowei Zhu, Xianming Liu, Hongliang Ren

分類: cs.AI

原文アブストラクト

Autonomous laparoscopic camera control requires continuous understanding of the surgeon's operative intent in dynamic surgical scenes, where the target operative region is not a stable physical object but a latent and temporally evolving attention state. In this work, we present Surgical Latent Attention Tracking (SurgLAT), a causal online framework for latent surgical attention modeling and autonomous laparoscopic view control. SurgLAT uses a frozen DINOv3 encoder and a state-conditioned spatial token mixer to extract operative evidence under a memory-guided spatial prior, while a selective causal latent memory module jointly models short-term motion continuity and long-horizon surgical intent evolution through dynamic retrieval of current, recent, and historical latent states. The learned latent surgical attention state is decoded into a probabilistic attention heatmap and operative region for downstream endoscope guidance. Beyond perception, we further introduce a robotic deployment framework with explicit laparoscopic Remote Center of Motion (RCM) constrained control based on virtual-axis formulation, together with redundancy-aware null-space initialization for stable and smooth manipulator motion. We validate the full system on real laparoscopic surgical videos and a physical robotic laparoscope platform. Experimental results demonstrate robust online operative-region tracking and stable autonomous endoscopy adjustment under occlusion, rapid motion, and target transitions, highlighting the effectiveness of latent surgical intent modeling for surgical autonomy.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI