適応的超音波ガイド下針挿入と針追跡のための視覚-言語-行動モデル
A Vision-Language-Action Model for Adaptive Ultrasound-Guided Needle Insertion and Needle Tracking
超音波ガイド下の針挿入と追跡を統合する視覚-言語-行動(VLA)モデルを提案し、リアルタイムで適応的な挿入制御を実現した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Yuelin Zhang, Qingpeng Ding, Longxiang Tang, Chengyu Fang, Shing Shin Cheng
分類: cs.RO, cs.AI
原文アブストラクト
Ultrasound (US)-guided needle insertion is a critical yet challenging procedure due to dynamic imaging conditions and difficulties in needle visualization. Many methods have been proposed for automated needle insertion, but they often rely on hand-crafted pipelines with modular controllers, whose performance degrades in challenging cases. In this paper, a Vision-Language-Action (VLA) model is proposed for adaptive and automated US-guided needle insertion and tracking on a robotic ultrasound (RUS) system. This framework provides a unified approach to needle tracking and needle insertion control, enabling real-time, dynamically adaptive adjustment of insertion based on the obtained needle position and environment awareness. To achieve real-time and end-to-end tracking, a Cross-Depth Fusion (CDF) tracking head is proposed, integrating shallow positional and deep semantic features from the large-scale vision backbone. To adapt the pretrained vision backbone for tracking tasks, a Tracking-Conditioning (TraCon) register is introduced for parameter-efficient feature conditioning. After needle tracking, an uncertainty-aware control policy and an asynchronous VLA pipeline are presented for adaptive needle insertion control, ensuring timely decision-making for improved safety and outcomes. Extensive experiments on both needle tracking and insertion show that our method consistently outperforms state-of-the-art trackers and manual operation, achieving higher tracking accuracy, improved insertion success rates, and reduced procedure time, highlighting promising directions for RUS-based intelligent intervention.
関連論文
- 片手補助：単一チャネル内視鏡的粘膜下層剥離術における牽引のための連続体ロボット把持器医療ロボティクス
- 脳血管内治療における臨床医とAIの協働：自律性スペクトラムにわたるロボットナビゲーションのCopilot支援モードに関するin-vitroユーザー研究医療ロボティクス
- 低悪性度脾外傷の止血に向けた監督付き自律双腕吸引・焼灼システム医療ロボティクス
- 言語条件付き行動クローニングによる自律内視鏡ガイダンス医療ロボティクス
- MCP-Net：ロボットガイドワイヤ操作のためのリアルタイム冠動脈認識ネットワークとトポロジー解析医療ロボティクス
- 手術フェーズ認識と視覚追従を統合した自律腹腔鏡制御フレームワーク医療ロボティクス
