日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

クロスモーダル言語生成arXiv:2107.00789

ケース関係トランスフォーマ:把持指示のためのクロスモーダル言語生成モデル

Case Relation Transformer: A Crossmodal Language Generation Model for Fetching Instructions

シェア:XThreadsFacebookLINEはてブBluesky

画像から物体の把持指示文を生成するクロスモーダル言語生成モデルCRTを提案し、Transformerで視覚特徴と幾何特徴を統合してデータ拡張を実現した。

著者: Motonari Kambara, Komei Sugiura

分類: cs.RO, cs.CL, cs.CV

原文アブストラクト

There have been many studies in robotics to improve the communication skills of domestic service robots. Most studies, however, have not fully benefited from recent advances in deep neural networks because the training datasets are not large enough. In this paper, our aim is to augment the datasets based on a crossmodal language generation model. We propose the Case Relation Transformer (CRT), which generates a fetching instruction sentence from an image, such as "Move the blue flip-flop to the lower left box." Unlike existing methods, the CRT uses the Transformer to integrate the visual features and geometry features of objects in the image. The CRT can handle the objects because of the Case Relation Block. We conducted comparison experiments and a human evaluation. The experimental results show the CRT outperforms baseline methods.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI