日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データセット/衝突検出arXiv:2610.19785

FPV-CRASH: ドローン一人称視点映像におけるオフライン衝突瞬間定位データセット

FPV-CRASH: A Dataset for Offline Crash Moment Localization in Drone First-Person-View Videos

シェア:XThreadsFacebookLINEはてブBluesky

ドローンFPV映像で衝突の瞬間を時間的に特定するタスク向けに、526件の衝突クリップと526件の正常クリップからなるデータセットと評価プロトコルを構築した。

詳しい要約

1. どんなもの?

ドローン搭載のFPV(first-person-view)映像において、制御飛行を中断させる主要な物理的衝撃の瞬間(Crash Moment)を時間的に特定するタスク『Crash Moment Localization』のためのデータセットと評価プロトコルを提案した研究。 - FPV-CRASHは1,052本のドローンFPVクリップ(526 Crash、526 Normal)で構成される。 - 各CrashクリップにはCrash Momentの単一フレーム参照アノテーションが付与される。 - 各クリップにはサンプリングフレームと既知のCrash/Normalラベルから自動生成された4つの英語キャプションが付く。 - Normalクリップはタイムスタンプ目標を持たず、学習時の背景supervisionを提供する。 - キャプションは補助的なText-to-Video Retrievalタスクを支えるが、localization推論はvideo-onlyで行う。

2. 先行研究と比べてどこがすごい?

既存のcrash-videoデータセットは主にsurveillanceやdash-camera映像を対象としており、そのアノテーション方式とタスク定式化はUAVオンボードFPV映像における主要な物理的衝撃の時間的localization向けに設計されていなかった。 - このギャップに対し、本論文はドローンFPV映像のoffline Crash Moment Localizationのためのデータセットと固定プロトコルの参照評価を提供する。 - 固定されたnon-source-disjointなclip-levelプロトコルの下で、参照モデルは最強のfixed timing-prior baselineのMAE 1.12 sを0.56 sへと50%相対削減した。 - MedAEは0.33 sを達成し、0.5 s以内にlocalizeされたクリップの割合は37.14%から65.71%へ上昇した。

3. 技術・手法の肝は?

Crash Moment Localizationは、ドローンが記録したオンボードFPV映像において、制御飛行を中断させる主要な物理的衝撃をlocalizeし、aerial roboticsにおけるretrospective crash analysisの時間的参照を提供することを目的とする。 - データセットは526 Crashと526 Normalの計1,052クリップから成る。 - CrashクリップにはCrash Momentの単一フレーム参照アノテーションが付与される。 - 各クリップにはサンプリングフレームと既知のCrash/Normalラベルから自動生成された4つの英語キャプションが付く。 - Normalクリップはタイムスタンプ目標を持たず、学習時の背景supervisionを提供する。 - 参照モデルはheatmapベースで、sparsely sampled framesから連続的なCrash Momentタイムスタンプを推定する。 - localization推論はvideo-onlyで、キャプションは補助的なText-to-Video Retrievalタスクを支…

4. どうやって有効だと検証した?

固定されたnon-source-disjointなclip-levelプロトコルの下で参照モデルを評価した。 - 最強のfixed timing-prior baselineではMAE 1.12 sだったが、参照モデルは0.56 sへと50%相対削減した。 - MedAEは0.33 sを達成した。 - 0.5 s以内にlocalizeされたクリップの割合は37.14%から65.71%へ上昇した。 - リリースにはアノテーション、利用可能なソース動画識別子とURL、クリッピングメタデータ、固定splitリスト、前処理コードが含まれ、ソース映像を再配布せずに報告可能部分を再構築できる。 - 投稿時点で全てのソースコンパイルURLはアクセス可能だった。

5. 議論はある?

既存のcrash-videoデータセットはsurveillanceやdash-camera映像を主対象とし、そのアノテーション方式とタスク定式化はUAVオンボードFPV映像における主要な物理的衝撃の時間的localization向けに設計されていなかった点が議論の出発点。 - 本論文はこのギャップに対し、FPV-CRASHデータセットと固定プロトコルの参照評価を提示する。 - Normalクリップはタイムスタンプ目標を持たず、学習時の背景supervisionを提供する。 - キャプションは補助的なText-to-Video Retrievalタスクを支えるが、localization推論はvideo-onlyである。 - 固定されたnon-source-disjointなclip-levelプロトコルが用いられている。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究として、fixed timing-prior baselineが挙げられる。 - 関連手法として、heatmap-based reference model、Text-to-Video Retrievalが言及されている。 - 既存のcrash-videoデータセット(surveillanceやdash-camera映像を対象とするもの)も比較対象として挙げられる。 - 同分野の定番として、UAV onboard FPV video、aerial robotics、retrospective crash analysisに関連する研究が次に読むべき候補となる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jifan Zhang, Tingyu Wang, Qian Liu, Zhedong Zheng

分類: cs.CV

原文アブストラクト

Crash Moment Localization aims to localize the major physical impact that interrupts controlled flight in an onboard first-person-view (FPV) video recorded by a drone, thereby providing a temporal reference for retrospective crash analysis in aerial robotics. However, existing crash-video datasets predominantly target surveillance or dash-camera footage, and their annotation schemes and task formulations are not designed for temporal localization of the major physical impact in UAV onboard FPV videos. To address this gap, we present FPV-CRASH, a dataset and fixed-protocol reference evaluation for offline Crash Moment Localization in drone FPV videos. FPV-CRASH contains 1,052 drone FPV clips (526 Crash and 526 Normal); each Crash clip has a single-frame reference annotation for the Crash Moment, and every clip is paired with four English captions automatically generated from sampled frames and the known Crash/Normal label. Normal clips carry no timestamp target and provide training-time background supervision. The captions support an auxiliary Text-to-Video Retrieval task, whereas localization inference remains video-only. We further provide a heatmap-based reference model that estimates a continuous Crash Moment timestamp from sparsely sampled frames. Under the fixed, non-source-disjoint clip-level protocol, the reference model reduces MAE from 1.12 s for the strongest fixed timing-prior baseline to 0.56 s (a 50% relative reduction) and achieves a median absolute error (MedAE) of 0.33 s; the fraction of clips localized within 0.5 s rises from 37.14% to 65.71%. The release includes annotations, available source video identifiers and URLs, clipping metadata, fixed split lists, and preprocessing code so that the reportable portion can be reconstructed without redistributing source footage. At submission time, all source-compilation URLs remained accessible.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI