日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチモーダル/グラウンディングarXiv:2311.04364

構文誘導型Transformer:マルチモーダル環境における合成的汎化とグラウンディングの向上

Syntax-Guided Transformers: Elevating Compositional Generalization and Grounding in Multimodal Environments

シェア:XThreadsFacebookLINEはてブBluesky

テキストの構文解析から得た依存構造を注意マスクに用い、Transformerエンコーダで重み共有を行うことで、マルチモーダルな合成的汎化とグラウンディング性能を向上させた研究。

著者: Danial Kamali, Parisa Kordjamshidi

分類: cs.CL, cs.RO

原文アブストラクト

Compositional generalization, the ability of intelligent models to extrapolate understanding of components to novel compositions, is a fundamental yet challenging facet in AI research, especially within multimodal environments. In this work, we address this challenge by exploiting the syntactic structure of language to boost compositional generalization. This paper elevates the importance of syntactic grounding, particularly through attention masking techniques derived from text input parsing. We introduce and evaluate the merits of using syntactic information in the multimodal grounding problem. Our results on grounded compositional generalization underscore the positive impact of dependency parsing across diverse tasks when utilized with Weight Sharing across the Transformer encoder. The results push the state-of-the-art in multimodal grounding and parameter-efficient modeling and provide insights for future research.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI