日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚関係検出arXiv:2403.14270

シーングラフViT:オープンボキャブラリな視覚関係検出のためのエンドツーエンド手法

Scene-Graph ViT: End-to-End Open-Vocabulary Visual Relationship Detection

シェア:XThreadsFacebookLINEはてブBluesky

Transformerベースの画像エンコーダで物体をトークンとして表現し、関係を暗黙的にモデル化することで、追加のデコーダなしにオープンボキャブラリな視覚関係検出をエンドツーエンドで実現した。

著者: Tim Salzmann, Markus Ryll, Alex Bewley, Matthias Minderer

分類: cs.CV, cs.CL, cs.LG, cs.RO

原文アブストラクト

Visual relationship detection aims to identify objects and their relationships in images. Prior methods approach this task by adding separate relationship modules or decoders to existing object detection architectures. This separation increases complexity and hinders end-to-end training, which limits performance. We propose a simple and highly efficient decoder-free architecture for open-vocabulary visual relationship detection. Our model consists of a Transformer-based image encoder that represents objects as tokens and models their relationships implicitly. To extract relationship information, we introduce an attention mechanism that selects object pairs likely to form a relationship. We provide a single-stage recipe to train this model on a mixture of object and relationship detection data. Our approach achieves state-of-the-art relationship detection performance on Visual Genome and on the large-vocabulary GQA benchmark at real-time inference speeds. We provide ablations, real-world qualitative examples, and analyses of zero-shot performance.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI