日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

映像予測arXiv:2608.03211

CrossScope: 役割非対称な世界モデルによる二視野同時手術映像予測

CrossScope: A Role-Asymmetric World Model for Joint Dual-Scope Surgical Video Prediction

シェア:XThreadsFacebookLINEはてブBluesky

内視鏡手術の二つの視点(母視点と子視点)の映像を、役割に応じて非対称に情報をやり取りしながら未来予測する世界モデルを提案した。

詳しい要約

1. どんなもの?

本論文は、複数の独立した視点を持つ協調システムの将来予測を扱う。具体的には、Mother-Child内視鏡的逆行性胆管膵管造影術(ERCP)において、2つの柔軟なスコープが提供する相補的かつ役割依存的な視点を用いた、役割非対称なデュアルスコープ将来予測を提案する。提案手法CrossScopeは、視点固有の専門家を保持しつつ、幾何学的ガイダンスによる残差相互作用を通じてターゲット固有の証拠ルーティングを可能にするデュアルストリーム手術世界モデルである。

2. 先行研究と比べてどこがすごい?

従来の視覚世界モデルは単一の観測ストリームから将来のダイナミクスを学習しており、複数の独立した観測者がいる協調システムをモデル化する能力が限られていた。また、従来のマルチビュー融合は対称な情報交換を仮定するが、ERCPではキャリブレーションされたステレオ関係がなく、役割依存的な視点が提供される。CrossScopeは、予測ターゲットとその空間要件に応じてクロスビュー証拠を選択的に転送する役割非対称なアプローチを導入し、この課題に対処している点が新しい。

3. 技術・手法の肝は?

CrossScopeは、視点固有の表現を維持するデュアルストリームアーキテクチャを採用し、ターゲット固有の証拠ルーティングを幾何学的ガイダンスによる残差相互作用で実現する。具体的には、Motherビューからの幾何学的運動手がかりがChildビューの将来ダイナミクスをガイドし、ポーズ整合されたChild外観は、有効な空間対応が確立された場合にのみMotherビュー予測をサポートする。これにより、各スコープはその視点固有の表現を損なうことなく、タスク関連の証拠を提供できる。

4. どうやって有効だと検証した?

同期されたファントムと実世界のERCPエピソードからなるペアデュアルスコープベンチマークを構築し、視覚的忠実度、構造的保存、ターゲット位置特定、動きの一貫性を評価した。実験では、CrossScopeが強力な手術ビデオ生成ベースラインを一貫して上回り、マルチオブザーバ視覚世界モデリングにおける役割認識証拠ルーティングの重要性を検証した。

5. 議論はある?

要旨からは、役割非対称な情報交換の有効性が示されたが、実世界のERCPデータの多様性や、他の手術シナリオへの一般化可能性については議論が限定的である。また、提案手法の計算コストや、長期的な予測の安定性などについては言及されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、手術ビデオ生成のベースラインや、マルチビュー融合の従来手法が挙げられる。具体的には、surgical video generation、multi-view fusion、world modelsなどの分野の論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wanhao Liu, Jinsong Lin, Rulin Zhou, Chi Kit Ng, Wenbin Pan, Zhiqing Tang, Dongyue Li, Liwei Luo, Yanshen Wu, Panshuo Li, Zhiyong Xiong, Huxin Gao, Tamas Haidegger, Hongliang Ren

分類: cs.CV, cs.RO

原文アブストラクト

Visual world models typically learn future dynamics from a single observation stream, limiting their ability to model cooperative systems with multiple independently moving observers. We investigate this challenge in Mother--Child endoscopic retrograde cholangiopancreatography (ERCP), where two flexible scopes provide complementary yet role-dependent views without a calibrated stereo relationship. Unlike conventional multi-view fusion that assumes symmetric information exchange, we formulate \textbf{role-asymmetric dual-scope future prediction}, where cross-view evidence is selectively transferred according to the prediction target and its underlying spatial requirements. We propose \textbf{CrossScope}, a dual-stream surgical world model that preserves view-specific experts while enabling target-specific evidence routing through geometry-guided residual interactions. CrossScope learns two complementary communication directions: geometric motion cues from the Mother view guide Child-view future dynamics, while pose-aligned Child appearance supports Mother-view prediction only when valid spatial correspondence is established. This design allows each scope to contribute task-relevant evidence without compromising its view-specific representation. To evaluate this problem, we establish a paired dual-scope benchmark comprising synchronized phantom and real-world ERCP episodes, with evaluations assessing visual fidelity, structural preservation, target localization, and motion consistency. Experiments demonstrate that CrossScope consistently outperforms strong surgical video generation baselines, validating the importance of role-aware evidence routing for multi-observer visual world modeling.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI