仮想ドローンを飛ばして3Dガウシアンをオンラインでセグメンテーション

SAGO (Segment Any Gaussians Online) は、3D Gaussian Splatting (3DGS) シーンに対するセットアップ不要のオンライン対話型セグメンテーションフレームワーク。ユーザーが3Dシーン上のオブジェクトをクリック等で指定すると、1秒未満で3D Gaussianのセグメンテーションを行い、クリーンな3Dアセットを抽出できる。従来の手法では必須だったマルチビューマスク準備や特徴蒸留などのセットアップ段階を完全に排除し、リアルタイムでの3Dシーン操作・編集を可能にする。

従来の3DGSセグメンテーション手法は、対話的セグメンテーションの前に数十秒から数分のセットアップ（マルチビューマスク準備、マスクのリフティング、特徴蒸留）を必要とし、オンラインアプリケーションのボトルネックとなっていた。SAGOはこのセットアップ段階を完全に排除し、セグメンテーション時間を1秒未満に短縮。さらに、既存のセットアップ不要フレームワークと比較して50倍以上の高速化を達成している。

仮想ドローン（virtual drones）を導入し、3Dセグメンテーション問題をマルコフ過程として定式化されたオンラインのNext-Best-View (NBV) プランニングタスクとして再構成する。仮想ドローンが3Dシーン内を移動し、視点を選択しながらセグメンテーション情報を収集・統合することで、セットアップなしで効率的にセグメンテーションを実行する。

広範な実験により、SAGOが3D Gaussianから直接クリーンな3Dアセットをサブ秒レイテンシで抽出できることを実証。また、オブジェクト操作やシーン編集などの下流アプリケーションでの有効性を示し、既存のセットアップ不要3DGSセグメンテーションフレームワークと比較して50倍以上の高速化を達成した。

要旨からは、セグメンテーション精度の詳細な評価や、複雑なシーンやオクルージョンが多い場合の性能、仮想ドローンの動作メカニズムの詳細、ユーザーインタラクションの種類（クリック、スクリブル等）に関する議論は不明。また、セットアップ不要であるがゆえの精度限界や、既存のセットアップあり手法との精度比較についても要旨からは不明。

要旨で参照されている関連研究として、3D Gaussian Splatting (3DGS) の基礎論文、既存の対話的3DGSセグメンテーション手法（セットアップあり）、およびセットアップ不要の3DGSセグメンテーションフレームワークが挙げられる。具体的には、3DGSの元論文（"3D Gaussian Splatting for Real-Time Radiance Field Rendering"）や、対話的セグメンテーションの先行研究（例：SAM (Segment Anything Model) を3Dに適用した手法）などが関連する。