日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

医療ロボティクス/セグメンテーション/力推定arXiv:2509.01605

TransForSeg: カテーテル挿入におけるステレオセグメンテーションと3D力推定を同時に行うマルチタスクステレオViT

TransForSeg: A Multitask Stereo ViT for Joint Stereo Segmentation and 3D Force Estimation in Catheterization

シェア:XThreadsFacebookLINEはてブBluesky

2方向のX線画像を入力とし、Vision Transformerでカテーテルのステレオセグメンテーションと3D力推定を同時に行うマルチタスクモデルを提案した論文。

詳しい要約

1. どんなもの?

- カテーテル治療中のX線透視を対象に、2視点のX線画像からカテーテルのstereo segmentationと3D force estimationを同時に行うmultitaskモデル「TransForSeg」を提案した研究。 - 2枚のX線画像を別々の系列として扱うencoder-decoder型Vision Transformerで構成される。 - カテーテル先端に生じる力を3Dで推定しつつ、2方向からのsegmentationを単一アーキテクチャで実現する。

2. 先行研究と比べてどこがすごい?

- 先行するstereo visionアーキテクチャはCNNベースのencoder-decoderで2視点X線画像間の依存関係を捉えていた。 - 本研究はCNNではなくVision Transformerで長距離依存を捉える点が新しい。 - 各画像で受容野を段階的に拡大する必要がなく、2視点のpatch系列から直接long-range dependenciesを獲得できる。 - 既存のpure segmentation models、vision-based catheter force estimation手法、multitask catheter segmentation and force estimation手法と比較し、両タスクでstate-of-the-artを更新したと報告。

3. 技術・手法の肝は?

- 2視点のX線画像をそれぞれ独立したpatch系列として入力するencoder-decoder Vision Transformer。 - encoderとdecoderが生成するembeddingを2つの共有segmentation headに供給する。 - regression headはdecoderのfused informationを用いて3D force estimationを行う。 - 2視点の情報を統合し、カテーテルの2方向segmentationと先端力の3D推定を同時に出力するmultitask構成が肝。

4. どうやって有効だと検証した?

- 様々なnoise levelを付与したsynthetic X-ray imagesを用いた広範な実験を実施。 - state-of-the-artのpure segmentation models、vision-based catheter force estimation methods、multitask catheter segmentation and force estimation approachと比較。 - その結果、catheter segmentationとforce estimationの両方で既存モデルを上回り、新たなstate-of-the-artを達成したと報告。

5. 議論はある?

- 要旨からは不明。 - ただしsynthetic X-ray imagesでの検証であり、実臨床データへの一般化やnoise以外の要因の影響については要旨に記述がない。 - multitask学習における各head間の寄与や計算コストの議論も要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及されたpure segmentation models、vision-based catheter force estimation methods、multitask catheter segmentation and force estimation approachの各論文。 - 背景となるCNNベースのstereo vision encoder-decoderによるcatheterization向けmultitask手法。 - Vision Transformerのencoder-decoderを用いた医用画像segmentationの関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pedram Fekri, Mehrdad Zadeh, Javad Dargahi

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

Recently, the emergence of multitask deep learning models has enhanced catheterization procedures by providing tactile and visual perception data through an end-to-end architecture. This information is derived from a segmentation and force estimation head, which localizes the catheter in X-ray images and estimates the applied pressure based on its deflection within the image. These stereo vision architectures incorporate a CNN-based encoder-decoder that captures the dependencies between X-ray images from two viewpoints, enabling simultaneous 3D force estimation and stereo segmentation of the catheter. With these tasks in mind, this work approaches the problem from a new perspective. We propose a novel encoder-decoder Vision Transformer model that processes two input X-ray images as separate sequences. Given sequences of X-ray patches from two perspectives, the transformer captures long-range dependencies without the need to gradually expand the receptive field for either image. The embeddings generated by both the encoder and decoder are fed into two shared segmentation heads, while a regression head employs the fused information from the decoder for 3D force estimation. The proposed model is a stereo Vision Transformer capable of simultaneously segmenting the catheter from two angles while estimating the generated forces at its tip in 3D. This model has undergone extensive experiments on synthetic X-ray images with various noise levels and has been compared against state-of-the-art pure segmentation models, vision-based catheter force estimation methods, and a multitask catheter segmentation and force estimation approach. It outperforms existing models, setting a new state-of-the-art in both catheter segmentation and force estimation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI