日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2406.17876

CLIPよ、お前もか?未見環境における一般的な物体誤りへの対処

ET tu, CLIP? Addressing Common Object Errors for Unseen Environments

シェア:XThreadsFacebookLINEはてブBluesky

ALFREDタスクにおいて、事前学習済みCLIPエンコーダを補助的な物体検出目的で追加モジュールとして用いることで、未見環境でのモデル汎化性能を向上させる手法を提案した。

著者: Ye Won Byun, Cathy Jiao, Shahriar Noroozizadeh, Jimin Sun, Rosa Vitiello

分類: cs.CV, cs.AI, cs.CL, cs.LG, cs.RO

原文アブストラクト

We introduce a simple method that employs pre-trained CLIP encoders to enhance model generalization in the ALFRED task. In contrast to previous literature where CLIP replaces the visual encoder, we suggest using CLIP as an additional module through an auxiliary object detection objective. We validate our method on the recently proposed Episodic Transformer architecture and demonstrate that incorporating CLIP improves task performance on the unseen validation set. Additionally, our analysis results support that CLIP especially helps with leveraging object descriptions, detecting small objects, and interpreting rare words.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI