日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

2D/3D位置合わせarXiv:2506.22191

微分可能X線レンダリングと二重クロスビュー制約による堅牢で高精度なマルチビュー2D/3D画像位置合わせ

Robust and Accurate Multi-view 2D/3D Image Registration with Differentiable X-ray Rendering and Dual Cross-view Constraints

シェア:XThreadsFacebookLINEはてブBluesky

術前モデルと術中X線画像をマルチビューで位置合わせする2段階手法を提案し、クロスビュー制約とテスト時最適化で高精度・高堅牢性を実現した。

詳しい要約

1. どんなもの?

- 術前モデルと術中X線画像を位置合わせするmulti-view 2D/3D rigid registration手法 - 2段階構成 - 第1段階: 深層学習によるcoarseなpose推定 - 第2段階: test-time optimizationによるpose refinement - 対象はinterventional navigationのためのrobustかつaccurateなregistration

2. 先行研究と比べてどこがすごい?

- 単一画像の限られたfield of view問題に対しmulti-view画像を活用 - 提案のcross-view constraintsによりmulti-view projection poseの相互制約を明示的に利用 - DeepFluoro datasetでmTRE 0.79 ± 2.17 mmを達成し、state-of-the-art registration algorithmsを上回る性能 - 具体的な比較対象手法名は要旨からは不明

3. 技術・手法の肝は?

- 第1段階でcombined loss functionを設計 - 予測poseとground-truth poseの差 - simulated imageとobserved intraoperative imageの非類似度(例: normalized cross-correlation) - pose lossとimage lossの双方にcross-view training loss termsを追加し、cross-view constraintsを明示的に強制 - 第2段階でtest-time optimizationによりcoarse stageの推定poseをrefine - differentiable X-ray renderingを利用(タイトルより)

4. どうやって有効だと検証した?

- DeepFluoro datasetの6 specimenで評価 - 指標はmean target registration error (mTRE) - 結果は0.79 ± 2.17 mm - state-of-the-art registration algorithmsとの比較で優位性を示す - 詳細な実験設定やablationは要旨からは不明

5. 議論はある?

- multi-view projection poseの相互制約がregistrationのrobustnessを高める点を主張 - 限られたfield of viewへの対処としてmulti-view利用の有効性を示唆 - 限界や失敗事例、計算コスト、cross-view constraintsの寄与度に関する議論は要旨からは不明

6. 次に読むべき論文は?

- DeepFluoro datasetを用いた2D/3D registrationの先行研究 - differentiable X-ray renderingを用いるregistration手法 - multi-view 2D/3D registrationのstate-of-the-art手法 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuxin Cui, Rui Song, Yibin Li, Max Q. -H. Meng, Zhe Min

分類: cs.CV, cs.RO

原文アブストラクト

Robust and accurate 2D/3D registration, which aligns preoperative models with intraoperative images of the same anatomy, is crucial for successful interventional navigation. To mitigate the challenge of a limited field of view in single-image intraoperative scenarios, multi-view 2D/3D registration is required by leveraging multiple intraoperative images. In this paper, we propose a novel multi-view 2D/3D rigid registration approach comprising two stages. In the first stage, a combined loss function is designed, incorporating both the differences between predicted and ground-truth poses and the dissimilarities (e.g., normalized cross-correlation) between simulated and observed intraoperative images. More importantly, additional cross-view training loss terms are introduced for both pose and image losses to explicitly enforce cross-view constraints. In the second stage, test-time optimization is performed to refine the estimated poses from the coarse stage. Our method exploits the mutual constraints of multi-view projection poses to enhance the robustness of the registration process. The proposed framework achieves a mean target registration error (mTRE) of $0.79 \pm 2.17$ mm on six specimens from the DeepFluoro dataset, demonstrating superior performance compared to state-of-the-art registration algorithms.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI