日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手術AI/視覚言語モデルarXiv:2607.19889

潜在アクション誘導による手術インタラクション認識のための視覚ファインチューニング

LAVIFT: Latent-Action-Guided Vision Fine-Tuning for Surgical Interaction Recognition

シェア:XThreadsFacebookLINEはてブBluesky

手術中の器具と組織の相互作用を認識するため、潜在アクションで誘導する視覚言語モデルのファインチューニング手法を提案。逆動力学モデルと前方世界モデルを用いてアクション関連領域の表現を強化し、パッチレベルの正則化で局所特徴の崩壊を防ぐ。

詳しい要約

1. どんなもの?

LAViFiTは、手術中の器具-組織相互作用認識のための、潜在アクション誘導型の視覚-言語ファインチューニングフレームワークである。事前学習済みのvision-language models (VLMs)やvision encodersを、細粒度の手術相互作用認識に適応させる際の問題を解決する。逆動力学モデルと前方世界モデルを用いて、エンコーダがアクション関連領域を表現するよう導き、パッチレベルのSIG Regularizerで局所特徴の崩壊を防ぐ。

2. 先行研究と比べてどこがすごい?

従来の手法では、vision encoderを凍結すると事前学習表現に依存し、ノイズや空間定位の弱さが残る。一方、完全なファインチューニングは大域的な意味整合性を向上させるが、エンコーダが正しいアクション領域で意味のある特徴を学習する保証がない。LAViFiTは、潜在アクションガイダンスを導入し、アクション誘発の視覚変化を捉えることで、これらの限界を克服する。

3. 技術・手法の肝は?

手法の核心は、エンドツーエンドの潜在アクション誘導フレームワークである。逆動力学モデルが各アクションによる視覚変化を捉え、前方世界モデルがエンコーダをアクション関連領域の表現へ導く。さらに、パッチレベルのSIG Regularizerが、バウンディングボックスや擬似ラベルなどの追加監視なしで局所特徴の崩壊を防ぐ。

4. どうやって有効だと検証した?

複数のエンコーダとデータセットにわたる実験で、認識精度と画像-テキスト整合性が向上した。また、表現解析により、器具-組織相互作用領域全体にわたるより強いグラウンディングと、より空間的に一貫した特徴が示された。

5. 議論はある?

要旨からは、提案手法の限界や潜在的な問題についての議論は不明である。ただし、追加の監視なしで局所特徴の崩壊を防ぐ点や、複数のエンコーダでの有効性が示されているが、実手術環境での汎化性や計算コストなどは議論されていない可能性がある。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、逆動力学モデルや前方世界モデルを用いた手法、手術認識におけるvision-language modelsの適用、およびSIG Regularizerに関連する研究が挙げられる。具体的には、手術ビデオ理解のための自己教師あり学習や、アクション認識のための世界モデルに関する論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiajun Cheng, Subarna Tripathi, Sainan Liu, Xiaofan Yu, Shan Lin

分類: cs.CV

原文アブストラクト

Understanding instrument-tissue interactions is essential for context-aware surgical AI and autonomous robotic surgery. Pretrained vision-language models (VLMs) and vision encoders offer an alternative to conventional interaction classifiers by transferring broad visual and semantic knowledge. However, adapting them to fine-grained surgical interactions remains challenging: (1) freezing the vision encoder depends entirely on pretrained representations that may retain noise and provide weak spatial localization, while (2) full fine-tuning can improve global semantic alignment without ensuring that the encoder learns meaningful features in the correct action region. We address these limitations by introducing LAViFiT, an end-to-end latent-action-guided framework for vision-language fine-tuning. An inverse dynamics model captures the visual changes induced by each action, while a forward world model drives the encoder to represent action-relevant regions. A patch-level SIG Regularizer further prevents local feature collapse without additional supervision, such as bounding boxes or pseudo-labels. Experiments across multiple encoders and datasets improve recognition and image-text alignment, while representation analyses show stronger grounding over the complete instrument-tissue interaction region and more spatially coherent features.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI