日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手術ロボティクス/オフライン強化学習arXiv:2603.26720

SutureFormer: ピクセル空間における目標条件付きオフライン強化学習による手術軌道の学習

SutureFormer: Learning Surgical Trajectories via Goal-conditioned Offline RL in Pixel Space

シェア:XThreadsFacebookLINEはてブBluesky

内視鏡映像から針先の軌道を逐次意思決定問題として捉え、スプライン補間で疎な注釈を密な報酬に変換する目標条件付きオフライン強化学習フレームワークを提案した。

詳しい要約

1. どんなもの?

- 内視鏡映像から手術針の軌道を予測するタスクを扱う。 - 針先をエージェントとみなし、pixel space 上で逐次意思決定問題として定式化。 - 提案手法 SutureFormer は goal-conditioned offline RL フレームワーク。 - 可変長クリップを observation encoder で符号化し、将来の waypoint を自己回帰的に予測。 - 新規 kidney wound suturing dataset(50患者、1,158軌道)で評価。

2. 先行研究と比べてどこがすごい?

- 既存の視覚観測から直接運動分布を学習する手法は、隣接する運動ステップ間の逐次依存性を無視しがち。 - 疎な waypoint アノテーションは十分な教師信号を与えられず、supervised/ imitation learning を難しくする。 - 提案手法は逐次意思決定として定式化し、針運動の連続性を自然に捉え、物理的に妥当な pixel-wise 状態遷移を明示的にモデル化。 - cubic spline interpolation で疎アノテーションを密な報酬信号に変換し、限られた expert guidance を活用しつつ plausible な未来運動経路を探索。 - 最強 baseline と比べ Average Displacement Error を 58.6% 削減。

3. 技術・手法の肝は?

- 画像ベースの針軌道予測を逐次意思決定問題として定式化。 - 針先をエージェントとし、pixel space 上で step-by-step に移動。 - goal-conditioned offline RL フレームワーク SutureFormer を提案。 - cubic spline interpolation により疎アノテーションから密な報酬信号を生成。 - observation encoder で可変長クリップを符号化し、局所空間手がかりと長距離時間動態を捕捉。 - 離散方向と連続大きさからなる action で将来 waypoint を自己回帰予測。 - 安定した offline policy optimization のため Conservative Q-Learning に Behavioral Cloning regularization を採用。

4. どうやって有効だと検証した?

- 新規 kidney wound suturing dataset(50患者、1,158軌道)で実験。 - 最強 baseline と比較し、Average Displacement Error を 58.6% 削減。 - 針軌道予測を pixel-level sequential action learning としてモデル化する有効性を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Conservative Q-Learning - Behavioral Cloning - goal-conditioned offline RL - cubic spline interpolation - 手術針軌道予測に関する既存の supervised/ imitation learning 手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Huanrong Liu, Chunlin Tian, Tongyu Jia, Tailai Zhou, Qin Liu, Yu Gao, Yutong Ban, Yun Gu, Guy Rosman, Xin Ma, Qingbiao Li

分類: cs.RO, cs.AI

原文アブストラクト

Predicting surgical needle trajectories from endoscopic video is critical for robot-assisted suturing, enabling anticipatory planning, real-time guidance, and safer motion execution. Existing methods that directly learn motion distributions from visual observations tend to overlook the sequential dependency among adjacent motion steps. Moreover, sparse waypoint annotations often fail to provide sufficient supervision, further increasing the difficulty of supervised or imitation learning methods. To address these challenges, we formulate image-based needle trajectory prediction as a sequential decision-making problem, in which the needle tip is treated as an agent that moves step by step in pixel space. This formulation naturally captures the continuity of needle motion and enables the explicit modeling of physically plausible pixel-wise state transitions over time. From this perspective, we propose SutureFormer, a goal-conditioned offline reinforcement learning framework that leverages sparse annotations to dense reward signals via cubic spline interpolation, encouraging the policy to exploit limited expert guidance while exploring plausible future motion paths. SutureFormer encodes variable-length clips using an observation encoder to capture both local spatial cues and long-range temporal dynamics, and autoregressively predicts future waypoints through actions composed of discrete directions and continuous magnitudes. To enable stable offline policy optimization from expert demonstrations, we adopt Conservative Q-Learning with Behavioral Cloning regularization. Experiments on a new kidney wound suturing dataset containing 1,158 trajectories from 50 patients show that SutureFormer reduces Average Displacement Error by 58.6% compared with the strongest baseline, demonstrating the effectiveness of modeling needle trajectory prediction as pixel-level sequential action learning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI