日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オプティカルフローarXiv:2303.06209

SemARFlow: 自動運転向け教師なしオプティカルフロー推定への意味情報の注入

SemARFlow: Injecting Semantics into Unsupervised Optical Flow Estimation for Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

自動運転データ向けに、推定したセマンティックセグメンテーションマスクを追加入力として用いる教師なしオプティカルフローネットワークを提案し、物体境界や低テクスチャ領域での精度と汎化性能を改善した。

著者: Shuai Yuan, Shuzhi Yu, Hannah Kim, Carlo Tomasi

分類: cs.CV, cs.RO

原文アブストラクト

Unsupervised optical flow estimation is especially hard near occlusions and motion boundaries and in low-texture regions. We show that additional information such as semantics and domain knowledge can help better constrain this problem. We introduce SemARFlow, an unsupervised optical flow network designed for autonomous driving data that takes estimated semantic segmentation masks as additional inputs. This additional information is injected into the encoder and into a learned upsampler that refines the flow output. In addition, a simple yet effective semantic augmentation module provides self-supervision when learning flow and its boundaries for vehicles, poles, and sky. Together, these injections of semantic information improve the KITTI-2015 optical flow test error rate from 11.80% to 8.38%. We also show visible improvements around object boundaries as well as a greater ability to generalize across datasets. Code is available at https://github.com/duke-vision/semantic-unsup-flow-release.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI