光場を用いた反射に頑健な6DoF物体追跡

- 反射面を持つ移動剛体の6DoF pose trackingを目的としたlight fieldベースの手法。 - 反射による見えの変化を nuisance ではなく pose cue として利用。 - 各フレームで反射に頑健な depth を復元し、point cloud に逆投影して surface normals を推定。 - 物体の view-dependent appearance を diffuse albedo と環境マップに分解し、relightable surface light field を構築。 - 粗い初期化から環境マップで relight し、photometric loss で pose を最適化。 - 物体が動くと新たな環境が鏡映され、環境マップが充填され信号が鋭くなる。 - 評価用に light field tracking dataset を導入。robotic manipulation benchmark から4段階の反射率で再レンダリングし、consumer RGB-D sensors の shiny surface での失敗を模擬した dept…

- 既存の tracker は物体の見えがシーケンスを通じて安定であると仮定するが、反射面ではこの仮定が崩れる。 - 提案手法は反射を pose cue に転換し、反射面でも精度を維持。 - diffuse 物体では最強の baselines に劣るが、完全反射物体では唯一精度を保持。 - 全ての baselines は反射物体で性能が劣化する。

- 各フレームで反射に頑健な depth を復元し、point cloud に逆投影して surface normals を推定。 - 物体の view-dependent appearance を diffuse albedo と環境マップに分解し、relightable surface light field を生成。 - 粗い初期化から環境マップで relight し、photometric loss で pose を最適化。 - 物体の移動に伴い環境マップが充填され、信号が時間とともに鋭くなる。

- light field tracking dataset を導入。robotic manipulation benchmark から4段階の反射率で再レンダリングし、consumer RGB-D sensors の shiny surface での失敗を模擬した depth を付与。 - 2つの captured light field sequences でも評価。 - diffuse 物体では最強の baselines に劣るが、完全反射物体では唯一精度を保持。 - 全ての baselines は反射物体で性能が劣化。

- 反射を nuisance ではなく pose cue として利用する点が新しい。 - diffuse 物体では最強の baselines に劣るが、反射物体では優位。 - 環境マップがシーケンス進行で充填され信号が鋭くなる。 - 限界や議論の詳細は要旨からは不明。

- 要旨で参照/比較されている研究: 既存の 6DoF trackers、robotic manipulation benchmark、consumer RGB-D sensors。 - 関連手法: light field based tracking、photometric loss を用いた pose optimization、surface light field。 - 同分野の定番: 6DoF object tracking、reflection-aware tracking。