日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2110.00804

ProTo: プログラム誘導型タスクのためのプログラム誘導トランスフォーマー

ProTo: Program-Guided Transformer for Program-Guided Tasks

シェア:XThreadsFacebookLINEはてブBluesky

プログラムの意味的・構造的情報をクロスアテンションとマスク付き自己アテンションで統合し、知覚・推論・意思決定を統一的に学習するトランスフォーマーProToを提案。視覚推論と2D Minecraftのポリシー学習で従来手法を大幅に上回り、未見の複雑なプログラムへの汎化も示した。

著者: Zelin Zhao, Karan Samel, Binghong Chen, Le Song

分類: cs.LG, cs.AI, cs.CV, cs.RO

原文アブストラクト

Programs, consisting of semantic and structural information, play an important role in the communication between humans and agents. Towards learning general program executors to unify perception, reasoning, and decision making, we formulate program-guided tasks which require learning to execute a given program on the observed task specification. Furthermore, we propose the Program-guided Transformer (ProTo), which integrates both semantic and structural guidance of a program by leveraging cross-attention and masked self-attention to pass messages between the specification and routines in the program. ProTo executes a program in a learned latent space and enjoys stronger representation ability than previous neural-symbolic approaches. We demonstrate that ProTo significantly outperforms the previous state-of-the-art methods on GQA visual reasoning and 2D Minecraft policy learning datasets. Additionally, ProTo demonstrates better generalization to unseen, complex, and human-written programs.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI