AsyncMDE: 非同期空間メモリによるリアルタイム単眼深度推定

- ロボット知覚向けの単眼深度推定システム AsyncMDE を提案。 - frozen foundation model と軽量 fast path からなる非同期構成。 - foundation model は背景で高品質な spatial features を周期的に生成。 - fast path は前景で非同期に動作し、cached memory と current observations を complementary fusion で統合。 - 深度推定を出力し、memory を autoregressively 更新。 - 3.83M の trainable fast-path parameters と 97.5M の frozen slow path を持つ。 - RTX 4090 上で fast path は 237 FPS で動作。 - foundation model との精度ギャップの 77% を回復。 - TensorRT 最適化済み Jetson AGX Orin で 161 FPS の fast-path inference を実現。

- 既存手法は independent per-frame inference を行い、連続ロボット操作における隣接視点間の計算冗長性を浪費。 - AsyncMDE は foundation model の計算コストを時間的に償却する lightweight fast path を導入。 - cross-frame feature reuse を可能にし、 bounded accuracy degradation を実現。 - 従来の per-frame 推論と比べ、計算効率とリアルタイム性を大幅に向上。 - 具体的な比較対象は要旨からは不明。

- frozen foundation model と lightweight fast path の非同期二重構成。 - foundation model は背景で高品質な spatial features を周期的に生成。 - fast path は前景で非同期に動作し、cached memory と current observations を complementary fusion で融合。 - 融合結果から深度推定を出力し、memory を autoregressively 更新。 - これにより cross-frame feature reuse を実現し、 bounded accuracy degradation を達成。 - fast path は 3.83M の trainable parameters を持ち、slow path は 97.5M で frozen。

- indoor static, dynamic, synthetic extreme-motion benchmarks で評価。 - AsyncMDE は予測可能な劣化を示す。 - RTX 4090 上で fast path が 237 FPS で動作。 - foundation model との精度ギャップの 77% を回復。 - TensorRT 最適化済み Jetson AGX Orin で 161 FPS の fast-path inference を達成。 - リアルタイムエッジ展開をサポートすることを確認。

- 精度劣化が bounded で予測可能である点を主張。 - エッジプラットフォームでのリアルタイム動作を実証。 - 具体的な限界や失敗ケース、議論の詳細は要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、monocular depth estimation の foundation model や lightweight depth estimation 手法、例えば MiDaS, DPT, Depth Anything などが関連。 - また、robot perception 向けのリアルタイム深度推定や asynchronous inference の研究も参考になる。