単眼ワンショットメトリック深度アライメントによるRGBベースのロボット把持

- RGB画像1枚からmetric depthを復元する枠組み MOMA (Monocular One-shot Metric-depth Alignment) を提案する研究。 - 対象はロボットのprehensile/non-prehensile manipulationで、6D object pose estimationの前提となるdepth取得を狙う。 - depth sensor (structured light, time-of-flight, stereo-vision) の代替として、単眼RGBとMDEM (monocular depth estimation model) を活用する。 - テスト環境ごとの追加データ収集やモデル再学習なしでmetric depthを得るone-shot adaptationを特徴とする。

- 従来の6D pose estimationはstructured light, time-of-flight, stereo-visionなどのdepth sensorに依存し、高コスト・noisy・透明物体に弱いという問題があった。 - 既存のMDEMはaffine-invariant depth（unknown scaleとshift）しか出せない。 - metric MDEMはpublic datasetでzero-shot成功例があるがgeneralizeしない。 - MOMAは追加データ収集・再学習なしでテスト環境に適応し、透明物体へのfine-tuningも可能とする点が差分。

- MDEMの出力に対し、camera calibration時にsparse ground-truth depth pointsをガイドとしてscale-rotation-shift alignmentを行う。 - これをone-shot adaptationとして用い、単一RGB画像からmetric depthを復元する。 - テストセットアップ上での追加データ収集やモデル再学習を不要とする設計。 - MDEMを透明物体に対してfine-tuningでき、generalizationを高める。

- 実世界実験としてtabletop 2-finger graspingとsuction-based bin-pickingを実施。 - 多様なタスクで高いsuccess rateを達成し、有効性を確認したと報告。 - 透明物体へのfine-tuningを含めstrong generalization capabilitiesを示すと述べる。 - 具体的なデータセット名・比較手法・数値は要旨からは不明。

- depth sensorと比べたコスト・noise・透明物体対応の利点を主張。 - metric MDEMのzero-shot汎化不足を課題として位置づけ、MOMAのone-shot適応で対処する。 - 透明物体へのfine-tuning可能性に言及。 - 限界・失敗事例・計算コスト・校正精度への依存性などの詳細は要旨からは不明。

- 要旨で直接参照/比較されているのはMDEM (monocular depth estimation model) とmetric MDEM、およびstructured light・time-of-flight・stereo-visionのdepth sensor。 - 関連手法として6D object pose estimation、transparent object向けdepth推定、zero-shot metric depth estimationの文献を次に読む候補とする。 - 個別論文名は要旨からは不明。