日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチモーダル認識arXiv:2012.01311

CORSMAL 2020チャレンジ優勝:人間-ロボット間ハンドオーバーにおけるマルチモーダル観測を用いた充填質量推定

Top-1 CORSMAL Challenge 2020 Submission: Filling Mass Estimation Using Multi-modal Observations of Human-robot Handovers

シェア:XThreadsFacebookLINEはてブBluesky

容器の見た目・音・深度を統合し、充填物の種類・量・容器容量を予測して質量を推定するマルチモーダル手法を提案し、CORSMAL 2020チャレンジで総合1位を獲得した。

著者: Vladimir Iashin, Francesca Palermo, Gökhan Solak, Claudio Coppola

分類: cs.CV, cs.HC, cs.LG, cs.RO, cs.SD

原文アブストラクト

Human-robot object handover is a key skill for the future of human-robot collaboration. CORSMAL 2020 Challenge focuses on the perception part of this problem: the robot needs to estimate the filling mass of a container held by a human. Although there are powerful methods in image processing and audio processing individually, answering such a problem requires processing data from multiple sensors together. The appearance of the container, the sound of the filling, and the depth data provide essential information. We propose a multi-modal method to predict three key indicators of the filling mass: filling type, filling level, and container capacity. These indicators are then combined to estimate the filling mass of a container. Our method obtained Top-1 overall performance among all submissions to CORSMAL 2020 Challenge on both public and private subsets while showing no evidence of overfitting. Our source code is publicly available: https://github.com/v-iashin/CORSMAL

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI