日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

医療ロボティクスarXiv:2608.01221

EndoWAM: 汎用内視鏡ナビゲーションのための接地された世界行動モデル

EndoWAM: A Grounded World-Action Model for Generalizable Endoscopic Navigation

シェア:XThreadsFacebookLINEはてブBluesky

内視鏡ナビゲーションのための世界行動モデルを初めて提案し、将来の目標領域予測と行動生成を統合することで、変形や視点変化に対するロバスト性を向上させた。

詳しい要約

1. どんなもの?

EndoWAMは、ロボット内視鏡ナビゲーションのための初のWorld Action Model (WAM)である。将来の観測におけるタスク関連の目標領域を予測するfuture groundingを導入し、ビデオワールドモデルの中間denoising featuresから目標領域を予測する。軽量なdiffusion transformerと離散アクション専門家を共有予測表現で結合し、単一のdenoising passでリアルタイム制御を実現する。また、ureteroscopy、esophagoscopy、ERCPの3つの解剖学的に異なる手技を含むロボット内視鏡動作データセットEndoMotionを導入する。

2. 先行研究と比べてどこがすごい?

既存の学習ベースのポリシーは現在の観測からアクションを予測するだけで、将来のダイナミクスを明示的にモデル化しないため、組織変形や一時的な閉塞、視点変化に対する堅牢性に欠ける。WAMは予測的視覚ダイナミクスとアクション生成を結合する有望な代替手段であるが、ロボット内視鏡への適用は、限られたトレーニングデータ、視点の多様性の制限、変形する解剖構造、高い推論レイテンシにより困難であった。EndoWAMはこれらの課題に対処し、将来の目標領域予測を導入することで、視覚的劣化や視点変化に対する堅牢性を向上させ、リアルタイム制御を可能にする。

3. 技術・手法の肝は?

EndoWAMは、ビデオワールドモデルの中間denoising featuresから将来の観測におけるタスク関連目標領域を予測するfuture groundingを導入する。具体的には、軽量なdiffusion transformerを将来の目標領域予測に使用し、離散アクション専門家と共有予測表現を介して結合する。この設計により、予測的ダイナミクスモデリングに目標認識の監視を注入し、視覚的劣化や視点変化に対する堅牢性を向上させるとともに、単一のdenoising passでリアルタイム制御を実現する。

4. どうやって有効だと検証した?

EndoWAMは、導入したEndoMotionデータセットを用いて評価された。このデータセットは、ureteroscopy、esophagoscopy、ERCPの3つの解剖学的に異なる手技を含む。EndoWAMは、すべてのベースラインおよび代替のgrounding戦略を一貫して上回り、未見の視点、環境、目標に対する強いゼロショット汎化を示した。

5. 議論はある?

要旨からは、議論の詳細は不明である。ただし、EndoWAMが視覚的に制約された内視鏡環境での正確で汎化可能な長期的ナビゲーションのための予測的で目標に基づくフレームワークとして確立されたと述べられている。潜在的な限界や将来の方向性については要旨に明記されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は、World Action Models (WAMs)と既存の学習ベースのポリシーである。次に読むべき論文としては、WAMの基礎となる論文や、内視鏡ナビゲーションにおける強化学習や模倣学習を用いた既存の手法に関する論文が考えられる。具体的には、'World Models'や'Action Models'に関する論文、および内視鏡手術における自律ナビゲーションのための学習ベースの手法を扱った論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinsong Lin, Zikang Pan, Wanhao Liu, Chi Kit Ng, Liangjing Shao, Zihang Yu, Ziyu Wang, Yin Wang, Jiaxi Wang, Jeremy Yuen-Chun Teoh, Zhiyong Xiong, Huxin Gao, Hongliang Ren

分類: cs.RO

原文アブストラクト

Autonomous endoscopic navigation can reduce clinicians' operational burden, yet robust control remains challenging due to tissue deformation, transient occlusions, and rapidly changing viewpoints. Existing learning-based policies typically predict actions from current observations without explicitly modeling future dynamics, limiting their robustness and reliability in safety-critical settings. World Action Models (WAMs) offer a promising alternative by coupling predictive visual dynamics with action generation, but extending them to robotic endoscopy remains challenging due to limited training data, restricted viewpoint diversity, deformable anatomy, and high inference latency. We present EndoWAM, which is, to our knowledge, the first WAM for generalizable robotic endoscopic navigation. EndoWAM introduces future grounding, which predicts task-relevant target regions in future observations from intermediate denoising features of a video world model. Specifically, EndoWAM couples a lightweight diffusion transformer for future target-region prediction with a discrete action expert through a shared predictive representation. This design injects target-aware supervision into predictive dynamics modeling, improving robustness to visual degradation and viewpoint changes while enabling real-time control in a single denoising pass. We further introduce EndoMotion, a robotic endoscopic motion dataset spanning three anatomically distinct procedures: ureteroscopy, esophagoscopy, and endoscopic retrograde cholangiopancreatography (ERCP). EndoWAM consistently outperforms all baselines and alternative grounding strategies, while demonstrating strong zero-shot generalization to unseen viewpoints, environments, and targets. These results establish EndoWAM as a predictive, target-grounded framework for accurate, generalizable, and long-horizon navigation in visually constrained endoscopic environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI