RoboMNIST: WiFi・映像・音声を用いたマルチロボット活動認識のためのマルチモーダルデータセット
RoboMNIST: A Multimodal Dataset for Multi-Robot Activity Recognition Using WiFi Sensing, Video, and Audio
2台のロボットアームの活動を、WiFiのCSI・映像・音声の3モダリティで同時計測したデータセットを構築し、マルチロボット活動認識の研究基盤を提供する。
著者: Kian Behzad, Rojin Zandi, Elaheh Motamedi, Hojjat Salehinejad, Milad Siami
分類: cs.RO, cs.SY, eess.SP, eess.SY
原文アブストラクト
We introduce a novel dataset for multi-robot activity recognition (MRAR) using two robotic arms integrating WiFi channel state information (CSI), video, and audio data. This multimodal dataset utilizes signals of opportunity, leveraging existing WiFi infrastructure to provide detailed indoor environmental sensing without additional sensor deployment. Data were collected using two Franka Emika robotic arms, complemented by three cameras, three WiFi sniffers to collect CSI, and three microphones capturing distinct yet complementary audio data streams. The combination of CSI, visual, and auditory data can enhance robustness and accuracy in MRAR. This comprehensive dataset enables a holistic understanding of robotic environments, facilitating advanced autonomous operations that mimic human-like perception and interaction. By repurposing ubiquitous WiFi signals for environmental sensing, this dataset offers significant potential aiming to advance robotic perception and autonomous systems. It provides a valuable resource for developing sophisticated decision-making and adaptive capabilities in dynamic environments.
関連論文
- AeroIntent: UAVミッション意図認識のための同期マルチモーダルベンチマークマルチモーダル認識
- MultiFly: 実世界マルチモーダル航空データセットと注釈効率の良いラベル転送およびクロスモーダル意味整合性マルチモーダル認識
- GlassFormer: レーダーと深度の融合によるリアルタイムガラスセグメンテーションの学習マルチモーダル認識
- 対数尤度比融合によるドローン・移動ロボット遠隔操作のための解釈可能なマルチモーダルジェスチャ認識マルチモーダル認識
- 照明条件に応じてRGBと赤外線を適応融合する自律追尾タレットシステムの評価マルチモーダル認識
- OmniUnet: RGB・深度・熱画像を用いた惑星探査ローバー向け非構造地形セグメンテーションのマルチモーダルネットワークマルチモーダル認識
