日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチモーダル融合arXiv:2011.05817

FINO-Net:マニピュレーション失敗検出のための深層マルチモーダルセンサ融合フレームワーク

FINO-Net: A Deep Multimodal Sensor Fusion Framework for Manipulation Failure Detection

シェア:XThreadsFacebookLINEはてブBluesky

RGB・深度・音声を融合する深層学習ネットワークFINO-Netを提案し、Baxterロボットによる実環境データセットでマニピュレーション失敗の検出と分類を高精度に実現した。

著者: Arda Inceoglu, Eren Erdal Aksoy, Abdullah Cihan Ak, Sanem Sariel

分類: cs.RO

原文アブストラクト

Safe manipulation in unstructured environments for service robots is a challenging problem. A failure detection system is needed to monitor and detect unintended outcomes. We propose FINO-Net, a novel multimodal sensor fusion based deep neural network to detect and identify manipulation failures. We also introduce a multimodal dataset, containing 229 real-world manipulation data recorded with a Baxter robot. Our network combines RGB, depth and audio readings to effectively detect and classify failures. Results indicate that fusing RGB with depth and audio modalities significantly improves the performance. FINO-Net achieves 98.60% detection and 87.31% classification accuracy on our novel dataset. Code and data are publicly available at https://github.com/ardai/fino-net.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI