日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データセットarXiv:2604.07991

MotionScape:ワールドモデルのための大規模実世界高ダイナミックUAVビデオデータセット

MotionScape: A Large-Scale Real-World Highly Dynamic UAV Video Dataset for World Models

シェア:XThreadsFacebookLINEはてブBluesky

UAV視点の高ダイナミックな6自由度カメラ軌道を含む、30時間以上の4Kビデオ(450万フレーム以上)からなる大規模実世界データセットを構築し、ワールドモデルの学習を支援する。

詳しい要約

1. どんなもの?

- 大規模な実世界UAV視点の動画データセット「MotionScape」を提案。 - 30時間以上の4K UAV動画、総フレーム数450万以上。 - 意味的・幾何学的に整合した学習サンプルを特徴とする。 - 多様なUAV動画に正確な6-DoFカメラ軌道と細粒度の自然言語記述を密結合。 - World Modelsの学習・評価を目的とする。

2. 先行研究と比べてどこがすごい?

- 既存データセットは2.5D運動パターン(自動運転や人間中心のegocentric video)に偏り、高動的6-DoF UAV運動の事前分布が不足。 - そのため既存World ModelsはUAV視点の高動的カメラ軌道下で時空間的物理一貫性を維持するのが困難。 - MotionScapeは実世界の高動的6-DoF UAV運動を大規模に提供し、この分布バイアスを解消。 - 意味的・幾何学的に整合したアノテーションにより、複雑な3Dダイナミクスと大きな視点変化への対応を改善。

3. 技術・手法の肝は?

- 自動化された多段階処理パイプラインを開発。 - CLIPベースの関連性フィルタリング。 - 時間セグメンテーション。 - ロバストなvisual SLAMによる軌道復元。 - 大規模言語モデル駆動の意味アノテーション。 - これらを統合し、動画・6-DoF軌道・言語記述を密結合したデータセットを構築。

4. どうやって有効だと検証した?

- 広範な実験を実施。 - 意味的・幾何学的に整合したアノテーションを組み込むことで、既存World Modelsの複雑な3Dダイナミクスシミュレーション能力と大きな視点変化への対応力が効果的に向上することを示した。 - その結果、複雑環境におけるUAVエージェントの意思決定と計画に寄与することを確認。

5. 議論はある?

- 要旨からは不明。 - データセットの限界や倫理的考慮、計算コストなどについての議論は要旨では触れられていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、World Models、visual SLAM、CLIP、大規模言語モデルが挙げられる。 - 同分野の定番として、World Models(Ha & Schmidhuber, 2018)やDreamer、UAVナビゲーションのためのデータセット(例:UAV123、VisDrone)などが次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zile Guo, Zhan Chen, Enze Zhu, Kan Wei, Yongkang Zou, Xiaoxuan Liu, Lei Wang

分類: cs.CV, cs.MM

原文アブストラクト

Recent advances in world models have demonstrated strong capabilities in simulating physical reality, making them an increasingly important foundation for embodied intelligence. For UAV agents in particular, accurate prediction of complex 3D dynamics is essential for autonomous navigation and robust decision-making in unconstrained environments. However, under the highly dynamic camera trajectories typical of UAV views, existing world models often struggle to maintain spatiotemporal physical consistency. A key reason lies in the distribution bias of current training data: most existing datasets exhibit restricted 2.5D motion patterns, such as ground-constrained autonomous driving scenes or relatively smooth human-centric egocentric videos, and therefore lack realistic high-dynamic 6-DoF UAV motion priors. To address this gap, we present MotionScape, a large-scale real-world UAV-view video dataset with highly dynamic motion for world modeling. MotionScape contains over 30 hours of 4K UAV-view videos, totaling more than 4.5M frames. This novel dataset features semantically and geometrically aligned training samples, where diverse real-world UAV videos are tightly coupled with accurate 6-DoF camera trajectories and fine-grained natural language descriptions. To build the dataset, we develop an automated multi-stage processing pipeline that integrates CLIP-based relevance filtering, temporal segmentation, robust visual SLAM for trajectory recovery, and large-language-model-driven semantic annotation. Extensive experiments show that incorporating such semantically and geometrically aligned annotations effectively improves the ability of existing world models to simulate complex 3D dynamics and handle large viewpoint shifts, thereby benefiting decision-making and planning for UAV agents in complex environments. The dataset is publicly available at https://github.com/Thelegendzz/MotionScape

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI