日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D幾何推定arXiv:2605.25308

動的特徴正規化によるストリーミング映像の3D幾何安定化

Stabilizing Streaming Video Geometry via Dynamic Feature Normalization

シェア:XThreadsFacebookLINEはてブBluesky

ストリーミングRGB入力から一貫した3D幾何を推定する際の時間的不安定性を、特徴統計量の変動が原因と特定し、軽量な再帰モジュールDyFNを導入して安定化する手法を提案した。

詳しい要約

1. どんなもの?

ストリーミングRGB入力から一貫した3D geometryを推定する問題に対し、単眼geometry foundation modelの時間的不安定性(特にscale-shift drifting)を解消するDynamic Feature Normalization (DyFN)を提案。 - 軽量・causalなrecurrent moduleで、latent feature statisticsを動的に調整。 - pretrained単眼geometry modelをbackbone凍結のまま、DyFNのみfinetune(追加パラメータ約2%)。 - 単一画像精度を損なわず時間的一貫性を実現。

2. 先行研究と比べてどこがすごい?

従来の単眼geometry foundation modelは単一画像精度は高いが、連続入力で時間的不安定性(scale-shift drifting)が顕著。 - 既存のstreaming手法や重いnon-causal video baselineと比較して、最大14%の時間的安定性向上。 - 追加パラメータ2%のみで、より重いnon-causal video baselineを上回る。 - 単一画像精度を維持しつつ時間的一貫性を達成。

3. 技術・手法の肝は?

不安定性の根本原因がlatent feature statisticsの変動(meanとvarianceが予測depthのscaleとshiftを直接決定)にあることを経験的に特定。 - Dynamic Feature Normalization (DyFN)は、causal recurrent moduleでfeature statisticsを動的かつロバストに調整。 - backboneは凍結し、DyFNのみfinetune(約2%の追加パラメータ)。 - これにより時間的一貫性を実現。

4. どうやって有効だと検証した?

4つのbenchmarkで広範な実験を実施。 - DyFNがdisjointed layeringやpositional jitterなどの時間的artifactを効果的に除去。 - state-of-the-artの時間的安定性を達成し、prior streaming methodsを最大14%改善。 - 重いnon-causal video baselineをも上回る性能を示した。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究や関連手法は明示されていない。同分野の定番として、monocular geometry foundation models(例: MiDaS, Depth Anythingなど)やstreaming depth estimation手法、non-causal video baselinesが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaoyang Lyu, Muxin Liu, Xiaoshan Wu, Ruicheng Wang, Yi-Hua Huang, Yang-Tian Sun, Shaoshuai Shi, Xiaojuan Qi

分類: cs.CV

原文アブストラクト

Consistent 3D geometry estimation from streaming RGB input is crucial for real-world applications such as autonomous driving, embodied AI, and large-scale reconstruction. While modern monocular geometry foundation models achieve strong single-image accuracy, they exhibit severe temporal inconsistency on continuous input, notably dominated by scale--shift drifting. Through targeted empirical analysis, we trace this instability to its root cause: fluctuations in latent feature statistics, whose mean and variance directly determine the predicted depth's scale and shift. Building on this insight, we introduce Dynamic Feature Normalization (DyFN), a lightweight, causal recurrent module that dynamically and robustly modulates feature statistics to maintain stable geometry over time. We adapt powerful pretrained monocular geometry models for streaming by finetuning only DyFN, a mere 2\% additional parameters, while keeping the backbone frozen, thereby achieving temporal consistency without compromising single-image accuracy. Extensive experiments across four benchmarks show that DyFN effectively eliminates temporal artifacts such as disjointed layering and positional jitter, and achieves state-of-the-art temporal stability, improving over prior streaming methods by up to 14\% and even outperforming heavier non-causal video baselines. Project Page: https://shawlyu.github.io/DyFN

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI