R3DP: 実時間3D認識ポリシーによる身体的操作

- 実世界のembodied manipulation向けのReal-time 3D-aware Policy (R3DP)を提案。 - 大規模3D vision modelの強いpriorを活用しつつ、real-time制御を両立させる。 - 非同期のfast-slow collaboration moduleが中核。 - plug-and-playで大規模modelをreal-time推論系に統合可能。

- 従来の大規模3D vision modelは計算コストが高く、real-time制御にはlatencyが大きすぎた。 - R3DPは3D priorを維持しつつ、naiveなDP+VGGT統合と比べinference timeを44.8%削減。 - 単一視点DPを32.9%、multi-view DPを51.4%上回る平均成功率。 - 大規模modelのpriorを犠牲にせずreal-time性を実現する点が新しい。

- 非同期fast-slow collaboration moduleを導入。 - slow systemとして事前学習済みVGGTをsparse key frameのみでquery。 - 中間フレームの特徴量は軽量なTemporal Feature Prediction Network (TFPNet)が予測。 - TFPNetは履歴データを活用し時間相関を利用、一貫した特徴推定で成功率を向上。 - Multi-View Feature Fuser (MVFF)がcamera intrinsics/extrinsicsを明示的に取り込み、多視点特徴を集約。

- 異なるvisual configurationで複数のbaselineと比較評価。 - 単一視点DPおよびmulti-view DPに対して平均成功率でそれぞれ32.9%、51.4%上回る。 - naiveなDP+VGGT統合と比較してinference timeが44.8%削減されることを確認。 - 大規模3D priorを活用しつつ優れた結果が得られることを示した。

- 大規模3D reasoningをpolicy実行から分離することでreal-time性を確保。 - TFPNetが時間相関を明示的に活用し、特徴推定の一貫性を改善。 - MVFFが多視点fusionを効果的にする。 - 具体的な限界や失敗ケース、計算資源の詳細は要旨からは不明。

- VGGT (Visual Geometry Grounded Transformer) などの大規模3D vision model。 - Diffusion Policy (DP) およびそのmulti-view拡張。 - Temporal Feature Prediction Network (TFPNet) やMulti-View Feature Fuser (MVFF) の関連研究。 - 要旨で参照されているbaselineや比較手法。