日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D追跡/NeRF/手術支援arXiv:2508.09681

Surg-InvNeRF: 手術視野における3D追跡と再構成のための可逆NeRF

Surg-InvNeRF: Invertible NeRF for 3D tracking and reconstruction in surgical vision

シェア:XThreadsFacebookLINEはてブBluesky

手術映像の長期3D点追跡のため、可逆NeRFを用いたテスト時最適化手法を提案し、2D追跡精度を約50%向上、3D追跡では初のTTO手法としてフィードフォワード法を上回った。

詳しい要約

1. どんなもの?

- 手術映像(surgical vision)における長期3D点追跡と再構成のための新しいtest-time optimisation (TTO) 手法 - NeRFベースのアーキテクチャで枠組みを構成 - 2Dと3Dの両方の点追跡を手術シナリオで実行 - 新規のinvertible Neural Radiance Field (InvNeRF) アーキテクチャを提案 - 追跡のための関数をInvNeRFでパラメタ化 - 評価はSTIRとSCAREデータセットで実施

2. 先行研究と比べてどこがすごい?

- 既存の点追跡手法は一貫した動きが得られにくい、または2D運動に限定される問題がある - TTOの最先端(State-of-the-art)は他手法の対応を集約する関数を最適化する枠組みだが、本研究はその関数をInvNeRFでパラメタ化する点が異なる - 2D点追跡ではTTO最先端手法に対しaverage precisionで平均約50%向上 - 3D点追跡では初のTTOアプローチであり、feed-forward手法を上回る - deformable NeRFベース再構成の利点を組み込む点が新しい

3. 技術・手法の肝は?

- レンダリングベース手法の利点を活かし、ピクセル対応の再投影をsupervise - 最近のレンダリングベース手法の戦略を適応 - bidirectional deformable-canonical mapping - 定義されたworkspaceを効率的に扱う仕組み - raysのdensityを導く仕組み - multi-scale HexPlanesにより高速推論を実現 - 効率的なpixel samplingと収束基準のための新アルゴリズムを提示

4. どうやって有効だと検証した?

- STIRデータセットで点追跡を評価 - SCAREデータセットでkinematic dataのパイプライン統合を検証 - 2D点追跡でTTO最先端手法と比較しaverage precisionで平均約50%向上 - 3D点追跡でfeed-forward手法を上回る結果 - 詳細な実験設定や指標の定義は要旨からは不明

5. 議論はある?

- 2Dでは他手法と競合しつつ精度・正確性で優位、3Dでは初のTTOとしてfeed-forwardを上回ると主張 - 手術シナリオ特有の課題(workspace、kinematic data統合)への適応を議論 - 限界や失敗事例、計算コストの詳細な議論は要旨からは不明 - 一般の手術映像への汎化性やリアルタイム性の評価は要旨からは不明

6. 次に読むべき論文は?

- TTOの最先端として言及される対応集約型のtest-time optimisation手法(個別名は要旨からは不明) - feed-forward型の3D点追跡手法(比較対象として言及、個別名は要旨からは不明) - NeRFベースの再構成・追跡手法(例: deformable NeRF、HexPlanes関連) - 手術映像の点追跡ベンチマークとしてSTIRおよびSCAREデータセット関連論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gerardo Loza, Junlei Hu, Dominic Jones, Sharib Ali, Pietro Valdastri

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

We proposed a novel test-time optimisation (TTO) approach framed by a NeRF-based architecture for long-term 3D point tracking. Most current methods in point tracking struggle to obtain consistent motion or are limited to 2D motion. TTO approaches frame the solution for long-term tracking as optimising a function that aggregates correspondences from other specialised state-of-the-art methods. Unlike the state-of-the-art on TTO, we propose parametrising such a function with our new invertible Neural Radiance Field (InvNeRF) architecture to perform both 2D and 3D tracking in surgical scenarios. Our approach allows us to exploit the advantages of a rendering-based approach by supervising the reprojection of pixel correspondences. It adapts strategies from recent rendering-based methods to obtain a bidirectional deformable-canonical mapping, to efficiently handle a defined workspace, and to guide the rays' density. It also presents our multi-scale HexPlanes for fast inference and a new algorithm for efficient pixel sampling and convergence criteria. We present results in the STIR and SCARE datasets, for evaluating point tracking and testing the integration of kinematic data in our pipeline, respectively. In 2D point tracking, our approach surpasses the precision and accuracy of the TTO state-of-the-art methods by nearly 50% on average precision, while competing with other approaches. In 3D point tracking, this is the first TTO approach, surpassing feed-forward methods while incorporating the benefits of a deformable NeRF-based reconstruction.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI