日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

医療ロボティクス/VQAarXiv:2606.15861

物体トークンによるロボット手術におけるセグメンテーションと視覚質問応答の橋渡し

Object Tokens as a Bridge Between Segmentation and Visual Question Answering in Robotic Surgery

シェア:XThreadsFacebookLINEはてブBluesky

ロボット手術の視覚質問応答(VQA)において、ピクセル単位のセグメンテーションとVQAを統合するフレームワークを提案し、物体トークンを用いて空間的接地表現を学習することで、精度を向上させた。

詳しい要約

1. どんなもの?

- ロボティック手術におけるVisual Question Answering (VQA) を対象とした統合フレームワークを提案。 - ピクセルレベルのセグメンテーションとVQAを単一フレームワークで同時に実行。 - Vision-Language Model (VLM) と Segment Anything Model (SAM) ベースのデコーダを統合。 - シーン要素をVLMが生成する object tokens として表現。 - object tokens が回答予測を導き、さらにSAMベースデコーダに投影されてセグメンテーションマスクを生成。

2. 先行研究と比べてどこがすごい?

- 既存のVLMベースのsurgical VQAは、主にbounding boxesに限定された粗いvisual groundingに依存。 - 手術オブジェクトの細かい空間構造を捉えられない問題があった。 - 提案手法はobject tokensをセグメンテーションとVQAの両目的で最適化し、空間的に根拠のある表現を学習。 - これによりvisual reasoningを強化しつつ、明示的なピクセルレベルのgroundingを提供。 - ベースライン手法を一貫して上回る性能を達成。

3. 技術・手法の肝は?

- VLMとSAMベースのデコーダを統合した単一フレームワーク。 - VLMがシーン要素をobject tokensとして生成。 - object tokensは回答予測に用いられ、さらにSAMベースデコーダに投影されてセグメンテーションマスクを生成。 - object token embeddingsをセグメンテーションと質問応答の両目的で最適化。 - これにより空間的にgroundedされた表現を学習。

4. どうやって有効だと検証した?

- プライベートなRAMIE (Robot-Assisted Minimally Invasive Esophagectomy) データセットと公開のEndoVis18データセットで評価。 - 両データセットでsurgical VQAのベースライン手法を一貫して上回る結果を確認。 - 文脈認識object tokensの導入が細かい手術シーン理解を改善することを示した。

5. 議論はある?

- 提案手法はobject tokensを介してセグメンテーションとVQAを橋渡しし、細粒度の手術シーン理解を向上。 - 限界や課題、今後の方向性については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 既存のVLMベースのsurgical VQA、Segment Anything Model (SAM)。 - 関連手法: Vision-Language Models (VLMs)、parameter-efficient fine-tuning。 - データセット: RAMIE、EndoVis18。 - 同分野の定番: surgical VQA、visual grounding、セグメンテーション。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiping Li, Ronald de Jong, Romy van Jaarsveld, Franco Badaloni, Gino Kuiper, Jelle Ruurda, Josien Pluim, Marcel Breeuwer

分類: cs.CV

原文アブストラクト

Visual Question Answering (VQA) in robotic surgery, referred to as surgical VQA, requires high-level understanding of complex surgical scenes and the integration of visual perception with language reasoning, with the potential to support surgical training and intraoperative decision-making. Recent Vision-Language Models (VLMs) have shown promising performance through parameter-efficient fine-tuning; however, most existing approaches rely on coarse visual grounding, typically limited to bounding boxes, which fails to capture the fine-grained spatial structure of surgical objects. In this work, we propose a unified framework that jointly performs pixel-level segmentation and visual question answering within a single framework. Our approach integrates a VLM with a Segment Anything Model (SAM)-based decoder and represents scene elements as object tokens generated by the VLM. These object tokens guide answer prediction and are further projected to the SAM-based decoder to produce segmentation masks. By optimizing the object token embeddings through both segmentation and question answering objectives, the model learns spatially grounded representations that enhance visual reasoning while providing explicit pixel-level grounding. We evaluate the proposed method on the private RAMIE (Robot-Assisted Minimally Invasive Esophagectomy) dataset and the public EndoVis18 dataset, where it consistently outperforms baseline methods for surgical VQA. These results demonstrate that incorporating context-aware object tokens into vision-language models improves fine-grained surgical scene understanding.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI