日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2506.05092

3Dガウシアンスプラッティングを用いた自律移動ロボット向け合成データセット生成

Synthetic Dataset Generation for Autonomous Mobile Robots Using 3D Gaussian Splatting for Vision Training

シェア:XThreadsFacebookLINEはてブBluesky

Unreal Engineと3Dガウシアンスプラッティングで注釈付き合成画像を自動生成し、ロボットサッカーの物体検出訓練で実画像と同等の性能を達成した研究。

詳しい要約

1. どんなもの?

- ロボットサッカー向けの物体検出用データセットを自動生成する手法 - Unreal Engine 上で photorealistic な 3D Gaussian splats を活用 - アノテーション付き synthetic data を自動生成し、vision training に利用 - 手作業のアノテーション負荷・人的誤り・多様性不足を緩和する狙い - robot soccer という動的で多様な環境への適用を指向

2. 先行研究と比べてどこがすごい?

- 従来の annotated datasets は手作業作成で時間・労力が大きく、人的誤りや多様性不足の問題 - 本手法は Unreal Engine と 3D Gaussian splats により synthetic data を迅速に自動生成 - synthetic のみでも real-world と同等の検出性能を達成し、生成・アノテーション時間を大幅削減 - real-world と synthetic の併用で object detection 性能が有意に向上 - 著者らの知る限り、robot soccer の動的環境で synthetic data を物体検出学習に用いた初の事例

3. 技術・手法の肝は?

- Unreal Engine 内で photorealistic な 3D Gaussian splats を用いて synthetic data を生成 - simulator 内で全要素が既知である性質を利用し、アノテーションを自動付与 - 生成した synthetic datasets を object detection の学習に使用 - real-world データとの組み合わせも検討し、スケーラビリティと画質の利点を活用 - 詳細なパイプラインやパラメータは要旨からは不明

4. どうやって有効だと検証した?

- robot soccer match scenarios 上で検出器を評価 - synthetic images のみで学習した検出器が、手動アノテーション済み real-world images で学習した検出器と同等の性能 - real-world と synthetic の併用で object detection 性能が向上することを確認 - 生成・アノテーションにかかる時間の大幅削減も示す - 具体的な評価指標やデータセット規模は要旨からは不明

5. 議論はある?

- 手作業アノテーションを排除し、正確なアノテーションと労力削減を両立 - 多様でスケーラブルな学習データが必要な robotics 応用に有用 - synthetic のみで real-world 同等性能、併用で更なる向上という結果 - 限界や失敗事例、sim-to-real gap の詳細な議論は要旨からは不明 - 他のロボティクス領域への一般化可能性は要旨からは不明

6. 次に読むべき論文は?

- 3D Gaussian Splatting を用いた synthetic data 生成の関連研究 - Unreal Engine ベースの synthetic dataset 生成手法 - sim-to-real 転移や domain randomization に関する研究 - robot soccer 向け object detection の既存データセット・ベンチマーク - 要旨で直接参照・比較されている個別論文は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aneesh Deogan, Wout Beks, Peter Teurlings, Koen de Vos, Mark van den Brand, Rene van de Molengraft

分類: cs.RO, cs.CV

原文アブストラクト

Annotated datasets are critical for training neural networks for object detection, yet their manual creation is time- and labour-intensive, subjective to human error, and often limited in diversity. This challenge is particularly pronounced in the domain of robotics, where diverse and dynamic scenarios further complicate the creation of representative datasets. To address this, we propose a novel method for automatically generating annotated synthetic data in Unreal Engine. Our approach leverages photorealistic 3D Gaussian splats for rapid synthetic data generation. We demonstrate that synthetic datasets can achieve performance comparable to that of real-world datasets while significantly reducing the time required to generate and annotate data. Additionally, combining real-world and synthetic data significantly increases object detection performance by leveraging the quality of real-world images with the easier scalability of synthetic data. To our knowledge, this is the first application of synthetic data for training object detection algorithms in the highly dynamic and varied environment of robot soccer. Validation experiments reveal that a detector trained on synthetic images performs on par with one trained on manually annotated real-world images when tested on robot soccer match scenarios. Our method offers a scalable and comprehensive alternative to traditional dataset creation, eliminating the labour-intensive error-prone manual annotation process. By generating datasets in a simulator where all elements are intrinsically known, we ensure accurate annotations while significantly reducing manual effort, which makes it particularly valuable for robotics applications requiring diverse and scalable training data.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI