日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ステレオマッチングarXiv:2512.11130

Fast-FoundationStereo:リアルタイムゼロショットステレオマッチング

Fast-FoundationStereo: Real-Time Zero-Shot Stereo Matching

シェア:XThreadsFacebookLINEはてブBluesky

ステレオ基盤モデルのゼロショット汎化性能を保ちつつ、知識蒸留・NAS・構造的プルーニングで高速化し、リアルタイム動作を実現した。

詳しい要約

1. どんなもの?

- ステレオマッチングの foundation model を real-time で動かすためのアーキテクチャ群「Fast-FoundationStereo」 - zero-shot 汎化性能を保ちつつ real-time frame rate を初めて達成 - 3つの高速化要素(knowledge distillation、blockwise NAS、structured pruning)と pseudo-labeling pipeline から構成 - FoundationStereo 比で 10x 以上高速かつ zero-shot 精度はほぼ同等

2. 先行研究と比べてどこがすごい?

- 従来の stereo foundation model は zero-shot 汎化は強いが計算コストが高く real-time 不可 - 効率的な stereo アーキテクチャは速度優先で robustness を犠牲にし、domain ごとの fine-tuning が必要 - 本研究は zero-shot 汎化と real-time を両立し、real-time 手法の中で新たな state-of-the-art を樹立 - FoundationStereo を基準に 10x 以上の高速化を実現

3. 技術・手法の肝は?

- divide-and-conquer の3段階加速戦略 - knowledge distillation により hybrid backbone を単一の効率的 student に圧縮 - blockwise neural architecture search で latency budget 下の最適な cost filtering 設計を自動探索し、探索計算量を指数的に削減 - structured pruning で iterative refinement module の冗長性を除去 - 1.4M の in-the-wild stereo pairs を自動収集する pseudo-labeling pipeline を導入し、synthetic 学習データを補完して knowledge distillation を支援

4. どうやって有効だと検証した?

- FoundationStereo との比較で 10x 以上の高速化と zero-shot 精度の近接を報告 - real-time 手法間で state-of-the-art を達成したと主張 - 具体的なベンチマーク名・データセット・指標の詳細は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 想定される論点として latency budget と精度のトレードオフ、pseudo-label の品質、探索・pruning の汎用性が考えられるが、要旨に明記なし

6. 次に読むべき論文は?

- FoundationStereo(比較対象の stereo foundation model) - knowledge distillation を用いた stereo matching の効率化研究 - neural architecture search による cost volume / cost filtering 設計の自動化研究 - structured pruning による反復 refinement の軽量化研究 - pseudo-labeling を用いた in-the-wild stereo データ拡充研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bowen Wen, Shaurya Dewan, Stan Birchfield

分類: cs.CV, cs.RO

原文アブストラクト

Stereo foundation models achieve strong zero-shot generalization but remain computationally prohibitive for real-time applications. Efficient stereo architectures, on the other hand, sacrifice robustness for speed and require costly per-domain fine-tuning. To bridge this gap, we present Fast-FoundationStereo, a family of architectures that achieve, for the first time, strong zero-shot generalization at real-time frame rate. We employ a divide-and-conquer acceleration strategy with three components: (1) knowledge distillation to compress the hybrid backbone into a single efficient student; (2) blockwise neural architecture search for automatically discovering optimal cost filtering designs under latency budgets, reducing search complexity exponentially; and (3) structured pruning for eliminating redundancy in the iterative refinement module. Furthermore, we introduce an automatic pseudo-labeling pipeline used to curate 1.4M in-the-wild stereo pairs to supplement synthetic training data and facilitate knowledge distillation. The resulting model can run over 10x faster than FoundationStereo while closely matching its zero-shot accuracy, thus establishing a new state-of-the-art among real-time methods. Project page: https://nvlabs.github.io/Fast-FoundationStereo/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI