日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手術視線知覚arXiv:2602.09259

マルチタスク手術シミュレーションにおける学習ベース視線知覚モデルのデータ中心設計

Data-centric Design of Learning-based Surgical Gaze Perception Models in Multi-Task Simulation

シェア:XThreadsFacebookLINEはてブBluesky

da Vinci SimNowで収集した能動・受動の手術視線データセットを用い、熟練度と知覚モダリティが注意モデルの学習に与える影響を分析し、受動視線の代用可能性を評価した。

詳しい要約

1. どんなもの?

本論文は、robot-assisted minimally invasive surgery (RMIS) における学習ベースの surgical gaze perception model の設計を data-centric に検討したものである。da Vinci SimNow simulator 上で4つの drill を対象に、active gaze(VR headset と eye tracking を用いてタスク実行中に記録)と passive gaze(同じ動画を観察者に見せて収集)を paired に収集した multi-task surgical gaze dataset を導入する。gaze の組織化における skill 差(intermediate vs. novice)と modality 差(active execution vs. passive viewing)を定量化し、passive gaze が operative supervision の代替になり得るかを fixation density overlap 分析と single-frame sali…

2. 先行研究と比べてどこがすごい?

従来、operative expert gaze の収集は高コストであり、gaze supervision の source(expertise level と perceptual modality)が attention model の学習内容をどう規定するかは不明であった。本研究は、同一動画を用いた active-passive の paired 比較を可能にする multi-task surgical gaze dataset を新たに構築し、skill と modality に依存する gaze 組織の違いを定量化した点で先行研究と異なる。また、passive gaze の operative supervision への代替可能性を、fixation density overlap と single-frame saliency modeling で体系的に評価した点が新しい。

3. 技術・手法の肝は?

技術の肝は、da Vinci SimNow simulator 上で4つの drill を実施し、VR headset と eye tracking で active gaze を記録するとともに、その動画を刺激として passive gaze を収集する paired active-passive, multi-task surgical gaze dataset の設計にある。評価手法として、fixation density overlap 分析と single-frame saliency modeling を用い、MSI-Net と SalGAN を比較する。MSI-Net は安定で解釈可能な予測を生成した一方、SalGAN は不安定で human fixations との整合がしばしば不十分であった。passive gaze で学習したモデルは intermediate active attention のかなりの部分を回復したが、予測可能な劣化を伴い、active と passive の間の転移は非対称であった。

4. どうやって有効だと検証した?

有効性の検証は、収集した paired active-passive, multi-task surgical gaze dataset を用いて、skill および modality に依存する gaze 組織の差を定量化し、fixation density overlap 分析と single-frame saliency modeling を実施することで行われた。具体的には、MSI-Net と SalGAN の予測を human fixations と比較し、passive gaze で学習したモデルが intermediate active attention をどの程度回復するか、また active と passive の間の転移の非対称性を評価した。さらに、novice passive labels が intermediate-passive targets を近似し、高品質なデモンストレーション上での損失が限定的であることを示した。

5. 議論はある?

議論としては、passive gaze が operative supervision の代替となり得るか、またその際の予測可能な劣化や active-passive 間の非対称な転移がどのように生じるかが焦点である。特に、novice passive labels が intermediate-passive targets を近似し、高品質なデモンストレーション上での損失が限定的であるという知見は、surgical coaching や perception modeling における scalable で crowd-sourced な gaze supervision の実用的な道筋を示唆する。一方、SalGAN の不安定性や human fixations との不整合、passive gaze 利用時の性能劣化の要因については、要旨からは詳細な議論の内容は不明である。

6. 次に読むべき論文は?

要旨で参照・比較されている研究や関連手法として、MSI-Net と SalGAN が挙げられる。また、RMIS における gaze-guided training や learning-based surgical perception models、da Vinci SimNow simulator を用いた surgical gaze dataset に関連する研究が次に読むべき候補となる。要旨からは個別の論文名は特定できないため、同分野の定番として saliency prediction の MSI-Net や SalGAN、surgical gaze perception に関する研究を参照することが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yizhou Li, Shuyuan Yang, Jiaji Su, Zonghe Chua

分類: cs.RO, cs.HC

原文アブストラクト

In robot-assisted minimally invasive surgery (RMIS), reduced haptic feedback and depth cues increase reliance on expert visual perception, motivating gaze-guided training and learning-based surgical perception models. However, operative expert gaze is costly to collect, and it remains unclear how the source of gaze supervision, both expertise level (intermediate vs. novice) and perceptual modality (active execution vs. passive viewing), shapes what attention models learn. We introduce a paired active-passive, multi-task surgical gaze dataset collected on the da Vinci SimNow simulator across four drills. Active gaze was recorded during task execution using a VR headset with eye tracking, and the corresponding videos were reused as stimuli to collect passive gaze from observers, enabling controlled same-video comparisons. We quantify skill- and modality-dependent differences in gaze organization and evaluate the substitutability of passive gaze for operative supervision using fixation density overlap analyses and single-frame saliency modeling. Across settings, MSI-Net produced stable, interpretable predictions, whereas SalGAN was unstable and often poorly aligned with human fixations. Models trained on passive gaze recovered a substantial portion of intermediate active attention, but with predictable degradation, and transfer was asymmetric between active and passive targets. Notably, novice passive labels approximated intermediate-passive targets with limited loss on higher-quality demonstrations, suggesting a practical path for scalable, crowd-sourced gaze supervision in surgical coaching and perception modeling.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI