焦点可能な単眼深度推定

- Focusable Monocular Depth Estimation (FDE) という領域認識型の単眼深度推定タスクを提案。 - 指定された target region に対し、foreground の深度精度を優先。 - 境界の sharp な遷移を保持。 - 全体の scene geometry の一貫性を維持。 - これを実現する FocusDepth を提案。 - box/text prompts で target region に焦点を当てる prompt-conditioned な単眼相対深度推定フレームワーク。 - FDE-Bench を構築。 - 5 datasets の image-target-depth triplets から成る target-centric ベンチマーク。 - 252.9K/72.5K の train/val triplets、972 カテゴリ。 - 実世界と embodied simulation 環境を含む。

- 従来の monocular depth foundation models は uniform pixel-wise な目的関数で最適化され、ユーザ指定やタスク関連の target region と周辺 context を区別しない。 - FocusDepth は box/text prompts により target region を優先する focused perception を実現。 - FDE-Bench 上で、globally fine-tuned な DA2/DA3 baselines より一貫して改善。 - 特に target boundary と foreground regions で最大の改善。 - 全体 scene geometry は保持。

- FocusDepth の核心は Multi-Scale Spatial-Aligned Fusion (MSSA)。 - Segment Anything Model 3 の multi-scale features を Depth Anything family に空間的に align。 - scale-specific で gated な conditional fusion により注入。 - これにより geometric representations を乱さずに dense prompt cue を注入。 - prompt-conditioned な単眼相対深度推定フレームワーク。 - box/text prompts を条件として target region に焦点を当てる。

- FDE-Bench 上で評価。 - box と text prompts の両方で、globally fine-tuned な DA2/DA3 baselines を一貫して上回る。 - 最大の改善は target boundary と foreground regions で見られ、global scene geometry は保持。 - Ablations を実施。 - MSSA の spatial alignment が鍵となる設計要素。 - prompt-geometry correspondence を乱すと AbsRel が最大 13.8% 増加。

- 要旨からは不明。 - 限界や失敗事例、計算コスト、prompt の曖昧性への対処などは記述されていない。 - 明示されているのは、MSSA の spatial alignment が重要で、乱すと AbsRel が最大 13.8% 悪化すること。

- Segment Anything Model 3 (SAM 3) - Depth Anything family (DA2/DA3) - FDE-Bench - 関連する prompt-conditioned depth estimation や region-aware depth estimation の研究