日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

医療ロボティクス/VLAarXiv:2606.23531

BiliVLA: 強化学習を用いた自律的胆道内視鏡ナビゲーションのためのシーン認識型視覚言語行動モデル

BiliVLA: Scene-Aware Vision-Language-Action Model with Reinforcement Learning for Autonomous Biliary Endoscopic Navigation

シェア:XThreadsFacebookLINEはてブBluesky

胆道内視鏡ナビゲーションを指示条件付き視覚運動学習問題として定式化し、シーン認識型のVLAフレームワークを提案。対象カテゴリ、接地バウンディングボックス、3自由度モーターコマンドを予測し、2段階訓練で性能を向上させた。

詳しい要約

1. どんなもの?

BiliVLAは、ERCP(内視鏡的逆行性胆管膵管造影)における胆道内視鏡ナビゲーションを、指示条件付き視覚運動学習問題として定式化するScene-Aware Vision-Language-Action(VLA)フレームワークである。内視鏡観察と段階別言語指示が与えられると、BiliVLAは対象カテゴリ、グラウンディングされたバウンディングボックス、連続体内視鏡の離散3自由度(3-DoF)モータコマンドを同時に予測する。

2. 先行研究と比べてどこがすごい?

従来のロボットシステムや視覚ベース支援技術は操作者の人間工学的負担を軽減し知覚的手がかりを提供するが、解剖学的変動や安全上重要な視覚的アーティファクト下で性能が低下し、カニュレーション級手技の信頼できる自律性を妨げていた。BiliVLAはシーン認識監督と安全認識回復監督を組み込み、意味的グラウンディングと報酬誘導最適化を統合することで、知覚と行動の整合性を強化し、より堅牢な自律ナビゲーションを可能にする点が優れている。

3. 技術・手法の肝は?

BiliVLAの肝は、シーン認識監督により意味的対象一貫性を改善し、安全認識回復監督により管腔壁接触時の保守的退避行動を誘導する点にある。さらに、グラウンディング強化教師ありファインチューニング(SFT)とGroup Relative Policy Optimization(GRPO)を組み合わせた二段階訓練パラダイムを採用し、閉ループナビゲーション中の行動信頼性と意思決定一貫性を向上させる。

4. どうやって有効だと検証した?

3つのERCPサブタスクにわたり物理ファントム実験で検証され、BiliVLAは総合mIoU 0.9625、全体行動精度91.96%、全体成功率(SR)84.85%を達成し、最高の総合性能を示した。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究や関連手法は明示されていない。同分野の定番として、Vision-Language-Action(VLA)モデル、Group Relative Policy Optimization(GRPO)、Endoscopic retrograde cholangiopancreatography(ERCP)向けロボット支援システム、視覚ベース支援技術などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinsong Lin, Chi Kit Ng, Zhiyong Xiong, Zikang Pan, Yihan Hu, Tabassum Tamima, Ziyi Hao, Eddie Cheung, Jiewen Lai, Huxin Gao, Hongliang Ren

分類: cs.RO

原文アブストラクト

Endoscopic retrograde cholangiopancreatography (ERCP) demands precise endoscopic navigation and stable biliary cannulation within a narrow monocular field characterized by specular reflections, partial occlusions, and frequent tissue contact. Although recent robotic systems and vision-based assistance techniques improve operator ergonomics and provide perceptual cues, their performance degrades under pronounced anatomical variability and safety-critical visual artifacts, which hinders reliable autonomy in cannulation-grade procedures. Here, we present BiliVLA, a scene-aware Vision-Language-Action (VLA) framework that formulates biliary endoscopic navigation as an instruction-conditioned visuomotor learning problem. Given an endoscopic observation and a stage-specific language instruction, BiliVLA jointly predicts the target category, a grounded bounding box, and a discrete three-degree-of-freedom (3-DoF) motor command for a continuum endoscope. The proposed framework incorporates scene-aware supervision to improve semantic target consistency and safety-aware recovery supervision to induce conservative retreat behaviors under luminal wall contact. A key component of BiliVLA is a two-stage training paradigm that combines grounding-enhanced supervised fine-tuning (SFT) with Group Relative Policy Optimization (GRPO), thereby improving action reliability and decision consistency during closed-loop navigation. Across three ERCP subtasks, BiliVLA achieves the best overall performance in physical phantom experiments, with a total mIoU of 0.9625, an overall action precision of 91.96\%, and an overall success rate (SR) of 84.85\%. These results indicate that integrating semantic grounding, scene-aware learning, and reward-guided optimization strengthens perception--action alignment and enables more robust autonomous biliary endoscopic navigation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI