日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.15206

EndoVLA: 内視鏡自律追従のための二段階視覚-言語-行動モデル

EndoVLA: Dual-Phase Vision-Language-Action Model for Autonomous Tracking in Endoscopy

シェア:XThreadsFacebookLINEはてブBluesky

消化管内視鏡の連続体ロボット向けに、術者の指示に従いポリープや病変部、円周切開マーカーを自律追従する視覚-言語-行動モデルを提案し、教師あり微調整と強化学習微調整の二段階戦略で性能とゼロショット汎化を向上させた。

詳しい要約

1. どんなもの?

- 内視鏡手技における自律トラッキングのための Vision-Language-Action (VLA) モデル「EndoVLA」 - 対象は gastrointestinal (GI) tract 介入の continuum robots - 入力は内視鏡画像と術者が発行する tracking prompt - 3つのコアタスクを実行 - polyp tracking - 異常粘膜領域の delineation と追従 - 円周切開時の circular markers への追従 - 目的は内視鏡医の認知負荷軽減

2. 先行研究と比べてどこがすごい?

- 従来の model-based pipeline は各コンポーネント(例: detection, motion planning)が fragile で手動チューニングを要し、高レベルの内視鏡意図を取り込みにくく、多様なシーンへの汎化が poor - VLA モデルは視覚知覚・言語 grounding・motion planning を end-to-end に統合し、手動 recalibration なしで術者 prompt に意味的に適応できる - ただし GI tract の複雑で動的な解剖環境ゆえ VLA の内視鏡適用は困難 - EndoVLA は continuum robots 向けに特化してこの課題に対処

3. 技術・手法の肝は?

- 内視鏡画像と tracking prompt を入力とする VLA モデル - データ不足と domain shifts に対処する dual-phase 戦略 - EndoVLA-Motion dataset での supervised fine-tuning - task-aware rewards を用いた reinforcement fine-tuning - 詳細なアーキテクチャや報酬設計の具体は要旨からは不明

4. どうやって有効だと検証した?

- 内視鏡における tracking 性能の有意な改善を報告 - 多様なシーンおよび複雑な sequential tasks での zero-shot generalization を実現 - 具体的なデータセット規模・評価指標・比較手法は要旨からは不明

5. 議論はある?

- GI tract の複雑かつ動的な解剖環境が VLA 適用の固有の課題として挙げられている - データ不足と domain shifts への対処が dual-phase 戦略の動機 - 限界・失敗事例・臨床応用上の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている個別研究は明示されていない - 関連手法として Vision-Language-Action (VLA) モデル全般、model-based pipeline(detection, motion planning)、continuum robots 関連研究 - 同分野の定番として endoscopic 自律制御・polyp tracking・reinforcement fine-tuning 関連の文献を検討

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chi Kit Ng, Long Bai, Guankun Wang, Yupeng Wang, Huxin Gao, Kun Yuan, Chenhan Jin, Tieyong Zeng, Hongliang Ren

分類: cs.RO, cs.AI

原文アブストラクト

In endoscopic procedures, autonomous tracking of abnormal regions and following circumferential cutting markers can significantly reduce the cognitive burden on endoscopists. However, conventional model-based pipelines are fragile for each component (e.g., detection, motion planning) requires manual tuning and struggles to incorporate high-level endoscopic intent, leading to poor generalization across diverse scenes. Vision-Language-Action (VLA) models, which integrate visual perception, language grounding, and motion planning within an end-to-end framework, offer a promising alternative by semantically adapting to surgeon prompts without manual recalibration. Despite their potential, applying VLA models to robotic endoscopy presents unique challenges due to the complex and dynamic anatomical environments of the gastrointestinal (GI) tract. To address this, we introduce EndoVLA, designed specifically for continuum robots in GI interventions. Given endoscopic images and surgeon-issued tracking prompts, EndoVLA performs three core tasks: (1) polyp tracking, (2) delineation and following of abnormal mucosal regions, and (3) adherence to circular markers during circumferential cutting. To tackle data scarcity and domain shifts, we propose a dual-phase strategy comprising supervised fine-tuning on our EndoVLA-Motion dataset and reinforcement fine-tuning with task-aware rewards. Our approach significantly improves tracking performance in endoscopy and enables zero-shot generalization in diverse scenes and complex sequential tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI