FINO-Net:マニピュレーション失敗検出のための深層マルチモーダルセンサ融合フレームワーク
FINO-Net: A Deep Multimodal Sensor Fusion Framework for Manipulation Failure Detection
RGB・深度・音声を融合する深層学習ネットワークFINO-Netを提案し、Baxterロボットによる実環境データセットでマニピュレーション失敗の検出と分類を高精度に実現した。
著者: Arda Inceoglu, Eren Erdal Aksoy, Abdullah Cihan Ak, Sanem Sariel
分類: cs.RO
原文アブストラクト
Safe manipulation in unstructured environments for service robots is a challenging problem. A failure detection system is needed to monitor and detect unintended outcomes. We propose FINO-Net, a novel multimodal sensor fusion based deep neural network to detect and identify manipulation failures. We also introduce a multimodal dataset, containing 229 real-world manipulation data recorded with a Baxter robot. Our network combines RGB, depth and audio readings to effectively detect and classify failures. Results indicate that fusing RGB with depth and audio modalities significantly improves the performance. FINO-Net achieves 98.60% detection and 87.31% classification accuracy on our novel dataset. Code and data are publicly available at https://github.com/ardai/fino-net.
関連論文
- MatchFusion: 時空間マルチモーダル自動運転のための明示的・暗黙的インスタンスマッチングマルチモーダル融合
- LiDAR-BIND-T: ロボティクス応用に向けた時間的一貫性を考慮したセンサモダリティ変換と融合の改良マルチモーダル融合
- t-READi: 自動運転向けTransformer駆動の堅牢で効率的なマルチモーダル推論マルチモーダル融合
- スコアに合わせて演じる:ロボットマニピュレーションのための段階誘導型動的マルチセンサ融合マルチモーダル融合
- 潜在コンタクトを活用したカメラ-LiDAR融合による難条件下の場所認識マルチモーダル融合
- 遮蔽や情報欠損に対応するマルチビュー視覚融合のためのアンサンブル学習:実世界データによる評価と運転者手活動認識への応用マルチモーダル融合
