日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.25528

LLM-RG: 大規模言語モデルを用いた屋外シーンにおける参照表現のグラウンディング

LLM-RG: Referential Grounding in Outdoor Scenarios using Large Language Models

シェア:XThreadsFacebookLINEはてブBluesky

屋外運転シーンで自然言語の参照表現(例:「右側の黒い車」)が指す物体を特定するため、視覚言語モデルで属性を抽出し、大規模言語モデルで推論するハイブリッド手法を提案。Talk2Carベンチマークで大幅な精度向上を達成。

詳しい要約

1. どんなもの?

- 屋外の自動運転シーンにおけるreferential grounding(自然言語参照表現から対象物体のbounding boxを特定するタスク)のための手法 - LLM-RGと名付けられたハイブリッドパイプライン - off-the-shelfのvision-language model (VLM) とlarge language model (LLM) を組み合わせる - zero-shotで動作する

2. 先行研究と比べてどこがすごい?

- LLMベースのbaselineおよびVLMベースのbaselineと比較してTalk2Car benchmarkで大幅な改善 - 既存のoff-the-shelfモデルをfine-tuningせずzero-shotで組み合わせる点が特徴 - VLMとLLMの補完的な強みを活用 - 具体的な数値や先行研究名は要旨からは不明

3. 技術・手法の肝は?

- LLMがfree-formのreferring expressionから関連するobject typesとattributesを抽出 - 候補領域を検出 - VLMがrich visual descriptorsを生成 - これらのdescriptorsとspatial metadataを自然言語promptに統合 - LLMがchain-of-thought reasoningでreferentのbounding boxを特定 - 3D spatial cuesの追加が更なる改善に寄与(ablationで確認)

4. どうやって有効だと検証した?

- Talk2Car benchmarkで評価 - LLMベースおよびVLMベースのbaselineとの比較で大幅な性能向上を確認 - ablation studyにより3D spatial cuesの追加がgroundingを更に改善することを示す - 具体的な評価指標や数値は要旨からは不明

5. 議論はある?

- VLMとLLMの補完的な強みが屋外referential groundingに有効であることを示唆 - zero-shotでの適用可能性を主張 - 限界や失敗ケース、計算コスト、リアルタイム性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- Talk2Car benchmarkに関する論文 - LLMベースのreferential grounding手法 - VLMベースのreferential grounding手法 - chain-of-thought reasoningを用いたvision-languageタスクの研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pranav Saxena, Avigyan Bhattacharya, Ji Zhang, Wenshan Wang

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Referential grounding in outdoor driving scenes is challenging due to large scene variability, many visually similar objects, and dynamic elements that complicate resolving natural-language references (e.g., "the black car on the right"). We propose LLM-RG, a hybrid pipeline that combines off-the-shelf vision-language models for fine-grained attribute extraction with large language models for symbolic reasoning. LLM-RG processes an image and a free-form referring expression by using an LLM to extract relevant object types and attributes, detecting candidate regions, generating rich visual descriptors with a VLM, and then combining these descriptors with spatial metadata into natural-language prompts that are input to an LLM for chain-of-thought reasoning to identify the referent's bounding box. Evaluated on the Talk2Car benchmark, LLM-RG yields substantial gains over both LLM and VLM-based baselines. Additionally, our ablations show that adding 3D spatial cues further improves grounding. Our results demonstrate the complementary strengths of VLMs and LLMs, applied in a zero-shot manner, for robust outdoor referential grounding.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI