密対応2025/6/1arXiv:2506.09278

UFM: フローとマッチングを統合するシンプルな密対応モデル

UFM: A Simple Path towards Unified Dense Correspondence with Flow

広基線マッチングとオプティカルフローを単一のTransformerで統合学習し、両タスクで専門手法を上回る精度と速度を実現した。

詳しい要約

1. どんなもの？

- 画像間の密な対応（dense correspondence）を、wide-baseline matching と optical flow の両方で統一的に扱うモデル UFM（Unified Flow & Matching model）。 - 両画像で co-visible な画素について統合データで学習する。 - 単純で汎用的な transformer アーキテクチャを用い、(u,v) flow を直接回帰する。 - visual odometry、3D reconstruction、object association、re-identification などへの応用を想定。

2. 先行研究と比べてどこがすごい？

- 従来は wide-baseline と optical flow を別々に扱っていたが、UFM は統合学習で両ドメインの専用手法を上回ることを初めて示した。 - 先行の coarse-to-fine cost volume より学習が容易で、large flow に対して高精度。 - state-of-the-art flow 手法 Unimatch より 28% 高精度。 - dense wide-baseline matcher RoMa より 62% 低エラーかつ 6.7x 高速。

3. 技術・手法の肝は？

- 単純で汎用的な transformer アーキテクチャ。 - 両画像で co-visible な画素に対する統合データで学習。 - (u,v) flow を直接回帰する（coarse-to-fine cost volume を使わない）。 - 詳細な設計・損失・学習手順は要旨からは不明。

4. どうやって有効だと検証した？

- state-of-the-art flow 手法 Unimatch と比較し 28% 高精度を報告。 - dense wide-baseline matcher RoMa と比較し 62% 低エラー、6.7x 高速を報告。 - 具体的なデータセット・ベンチマーク・評価指標は要旨からは不明。

5. 議論はある？

- 統合学習が両ドメインの専用手法を上回ることを初めて示した点を主張。 - 高速で汎用的な correspondence を可能にし、multi-modal・long-range・real-time correspondence への新方向を開くと述べる。 - 限界・失敗ケース・計算コストの詳細な議論は要旨からは不明。

6. 次に読むべき論文は？

- Unimatch（比較対象の state-of-the-art flow 手法）。 - RoMa（比較対象の dense wide-baseline matcher）。 - coarse-to-fine cost volume を用いる従来の dense correspondence / optical flow 手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuchen Zhang, Nikhil Keetha, Chenwei Lyu, Bhuvan Jhamb, Yutian Chen, Yuheng Qiu, Jay Karhade, Shreyas Jha, Yaoyu Hu, Deva Ramanan, Sebastian Scherer, Wenshan Wang

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

Dense image correspondence is central to many applications, such as visual odometry, 3D reconstruction, object association, and re-identification. Historically, dense correspondence has been tackled separately for wide-baseline scenarios and optical flow estimation, despite the common goal of matching content between two images. In this paper, we develop a Unified Flow & Matching model (UFM), which is trained on unified data for pixels that are co-visible in both source and target images. UFM uses a simple, generic transformer architecture that directly regresses the (u,v) flow. It is easier to train and more accurate for large flows compared to the typical coarse-to-fine cost volumes in prior work. UFM is 28% more accurate than state-of-the-art flow methods (Unimatch), while also having 62% less error and 6.7x faster than dense wide-baseline matchers (RoMa). UFM is the first to demonstrate that unified training can outperform specialized approaches across both domains. This result enables fast, general-purpose correspondence and opens new directions for multi-modal, long-range, and real-time correspondence tasks.

arXivで原文を読む →arXiv概要ページ

← 論文一覧