日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D幾何推定arXiv:2603.14528

Interp3R: フレームとイベントによる連続時間3D幾何推定

Interp3R: Continuous-time 3D Geometry Estimation with Frames and Events

シェア:XThreadsFacebookLINEはてブBluesky

フレーム間の時間を埋めるイベントデータを用いて、任意の時刻の深度とカメラ姿勢を推定する初の手法を提案。合成データのみで訓練しつつ、実世界でも高い汎化性能を示す。

詳しい要約

1. どんなもの?

- 3D visual foundation modelの一種で、pointmapベースの手法(例:DUSt3R)を拡張し、任意の時刻におけるdepthとcamera poseを推定する手法。 - 従来のフレームベースモデルは画像撮影時刻の離散的な幾何しか復元できないが、Interp3Rはフレーム間の盲時間におけるシーン進化を連続的に表現する。 - 非同期のevent dataを利用して、フレームベースモデルが生成するpointmapを補間し、時間的に連続な幾何表現を実現する。 - 補間されたpointmapと元のフレームベースモデルのpointmapを整合させ、depthとcamera poseを同時に復元する。

2. 先行研究と比べてどこがすごい?

- 従来のpointmapベース手法(DUSt3Rなど)は離散時刻の幾何推定に限定され、フレーム間のシーン変化を扱えない。 - 既存の2段階パイプライン(2D video frame interpolation + 3D geometry estimation)と比較して、Interp3Rは大幅に優れた性能を示す。 - 合成データセットのみで訓練しながら、多様な合成・実世界ベンチマークで強い汎化性能を発揮する点がすごい。

3. 技術・手法の肝は?

- 非同期のevent dataを活用し、フレームベースモデルが出力するpointmapを補間する。 - 補間されたpointmapと元のフレームベースモデルによるpointmapを整合させ、一貫した空間フレームワークでdepthとcamera poseを同時に復元する。 - これにより、任意の時刻における連続的な幾何表現を可能にする。

4. どうやって有効だと検証した?

- 合成データセットのみで訓練し、広範な合成および実世界ベンチマークで評価。 - 2D video frame interpolationと3D geometry estimationの2段階パイプラインに従うstate-of-the-artベースラインと比較し、大幅に上回る性能を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- DUSt3R(pointmapベースの3D visual foundation model) - 2D video frame interpolation + 3D geometry estimationの2段階パイプラインを採用するstate-of-the-artベースライン

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuang Guo, Filbert Febryanto, Lei Sun, Guillermo Gallego

分類: cs.CV, cs.RO

原文アブストラクト

In recent years, 3D visual foundation models pioneered by pointmap-based approaches such as DUSt3R have attracted a lot of interest, achieving impressive accuracy and strong generalization across diverse scenes. However, these methods are inherently limited to recovering scene geometry only at the discrete time instants when images are captured, leaving the scene evolution during the blind time between consecutive frames largely unexplored. We introduce Interp3R, to the best of our knowledge the first method that enhances pointmap-based models to estimate depth and camera poses at arbitrary time instants. Interp3R leverages asynchronous event data to interpolate pointmaps produced by frame-based models, enabling temporally continuous geometric representations. Depth and camera poses are then jointly recovered by aligning the interpolated pointmaps together with those predicted by the underlying frame-based models into a consistent spatial framework. We train Interp3R exclusively on a synthetic dataset, yet demonstrate strong generalization across a wide range of synthetic and real-world benchmarks. Extensive experiments show that Interp3R outperforms by a considerable margin state-of-the-art baselines that follow a two-stage pipeline of 2D video frame interpolation followed by 3D geometry estimation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI