日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチモーダル/強化学習arXiv:1909.09172

音声と視覚を統合したロボット制御のための音解釈

Robot Sound Interpretation: Combining Sight and Sound in Learning-Based Control

シェア:XThreadsFacebookLINEはてブBluesky

音声コマンドを直接解釈し視覚に基づく意思決定を行うエンドツーエンドの深層ニューラルネットを強化学習で訓練し、2種類のロボットで目標物体への精密制御を実現した。

著者: Peixin Chang, Shuijing Liu, Haonan Chen, Katherine Driggs-Campbell

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

We explore the interpretation of sound for robot decision making, inspired by human speech comprehension. While previous methods separate sound processing unit and robot controller, we propose an end-to-end deep neural network which directly interprets sound commands for visual-based decision making. The network is trained using reinforcement learning with auxiliary losses on the sight and sound networks. We demonstrate our approach on two robots, a TurtleBot3 and a Kuka-IIWA arm, which hear a command word, identify the associated target object, and perform precise control to reach the target. For both robots, we show the effectiveness of our network in generalization to sound types and robotic tasks empirically. We successfully transfer the policy learned in simulator to a real-world TurtleBot3.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI