適応型オートエンコーダの同時学習による撮像モダリティ間の知識転移で高忠実な移動ロボット視覚を実現
Knowledge Transfer across Imaging Modalities Via Simultaneous Learning of Adaptive Autoencoders for High-Fidelity Mobile Robot Vision
ノイズの多い安価なセンサでも高度なセンサ並みの能力を得るため、ソースとターゲットのオートエンコーダを同時学習してドメイン不変特徴空間を作り、モダリティ間で知識転移するSAEDAを提案。LiDAR/Radar/Videoで分類・回帰タスクの精度を改善し、実機ロボットでも検証した。
著者: Md Mahmudur Rahman, Tauhidur Rahman, Donghyun Kim, Mohammad Arif Ul Alam
分類: cs.RO
原文アブストラクト
Enabling mobile robots for solving challenging and diverse shape, texture, and motion related tasks with high fidelity vision requires the integration of novel multimodal imaging sensors and advanced fusion techniques. However, it is associated with high cost, power, hardware modification, and computing requirements which limit its scalability. In this paper, we propose a novel Simultaneously Learned Auto Encoder Domain Adaptation (SAEDA)-based transfer learning technique to empower noisy sensing with advanced sensor suite capabilities. In this regard, SAEDA trains both source and target auto-encoders together on a single graph to obtain the domain invariant feature space between the source and target domains on simultaneously collected data. Then, it uses the domain invariant feature space to transfer knowledge between different signal modalities. The evaluation has been done on two collected datasets (LiDAR and Radar) and one existing dataset (LiDAR, Radar and Video) which provides a significant improvement in quadruped robot-based classification (home floor and human activity recognition) and regression (surface roughness estimation) problems. We also integrate our sensor suite and SAEDA framework on two real-time systems (vacuum cleaning and Mini-Cheetah quadruped robots) for studying the feasibility and usability.
関連論文
- AeroIntent: UAVミッション意図認識のための同期マルチモーダルベンチマークマルチモーダル認識
- MultiFly: 実世界マルチモーダル航空データセットと注釈効率の良いラベル転送およびクロスモーダル意味整合性マルチモーダル認識
- GlassFormer: レーダーと深度の融合によるリアルタイムガラスセグメンテーションの学習マルチモーダル認識
- 対数尤度比融合によるドローン・移動ロボット遠隔操作のための解釈可能なマルチモーダルジェスチャ認識マルチモーダル認識
- 照明条件に応じてRGBと赤外線を適応融合する自律追尾タレットシステムの評価マルチモーダル認識
- OmniUnet: RGB・深度・熱画像を用いた惑星探査ローバー向け非構造地形セグメンテーションのマルチモーダルネットワークマルチモーダル認識
