日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.00743

DOPE: 視覚と言語によるナビゲーションのためのデュアル物体知覚強化ネットワーク

DOPE: Dual Object Perception-Enhancement Network for Vision-and-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

視覚と言語によるナビゲーション(VLN)において、指示文から重要なフレーズを抽出し、物体と行動の詳細を活用するテキスト物体知覚強化と、異なるモダリティ間の物体関係をモデル化する画像物体知覚強化を組み合わせたDOPEを提案。

詳しい要約

1. どんなもの?

- Vision-and-Language Navigation (VLN) タスク向けの新ネットワーク DOPE (Dual Object Perception-Enhancement Network) を提案 - エージェントが言語指示を理解し、視覚手がかりで未知環境をナビゲートする際の性能向上を狙う - 言語指示の詳細活用不足と、モダリティ間の物体関係モデリング不足の2課題に対処 - Text Semantic Extraction (TSE)、Text Object Perception-Augmentation (TOPA)、Image Object Perception-Augmentation (IOPA) の3要素で構成

2. 先行研究と比べてどこがすごい?

- 既存手法は完全な言語指示をそのまま multi-layer Transformer に入力し、指示内の詳細情報を十分活用できていなかった - 既存手法は異なるモダリティ間の物体関係のモデリングを軽視し、物体間の潜在的手がかりを活用できていなかった - DOPE は指示から重要フレーズを抽出し、テキスト・画像双方で物体情報を増強することでこれらの限界に対処 - 具体的な先行研究名や定量比較は要旨からは不明

3. 技術・手法の肝は?

- Text Semantic Extraction (TSE): テキストから比較的重要なフレーズを抽出 - Text Object Perception-Augmentation (TOPA): 抽出フレーズを入力し、指示内の物体や動作などの詳細を活用 - Image Object Perception-Augmentation (IOPA): 異なるモダリティにまたがる物体情報を追加モデリング - 画像とテキスト間の物体の潜在的手がかりを活用し、意思決定精度を高める設計

4. どうやって有効だと検証した?

- R2R と REVERIE の2データセットで広範な実験を実施 - 提案手法の有効性を確認したと報告 - 具体的な指標・数値・比較手法は要旨からは不明

5. 議論はある?

- 言語指示の詳細活用不足とモダリティ間物体関係の軽視という2つの限界を動機として提示 - 各コンポーネント (TSE/TOPA/IOPA) の個別寄与や限界に関する議論は要旨からは不明 - 失敗事例や計算コストなどの考察は要旨からは不明

6. 次に読むべき論文は?

- R2R および REVERIE データセットを用いた VLN の代表的手法 (例: Seq2Seq ベースのベースライン、Transformer ベースの VLN 手法) - 言語指示の詳細抽出や物体関係モデリングに関する関連研究 - 要旨で具体的に参照・比較されている個別論文名は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yinfeng Yu, Dongsheng Yang

分類: cs.CV, cs.RO

原文アブストラクト

Vision-and-Language Navigation (VLN) is a challenging task where an agent must understand language instructions and navigate unfamiliar environments using visual cues. The agent must accurately locate the target based on visual information from the environment and complete tasks through interaction with the surroundings. Despite significant advancements in this field, two major limitations persist: (1) Many existing methods input complete language instructions directly into multi-layer Transformer networks without fully exploiting the detailed information within the instructions, thereby limiting the agent's language understanding capabilities during task execution; (2) Current approaches often overlook the modeling of object relationships across different modalities, failing to effectively utilize latent clues between objects, which affects the accuracy and robustness of navigation decisions. We propose a Dual Object Perception-Enhancement Network (DOPE) to address these issues to improve navigation performance. First, we design a Text Semantic Extraction (TSE) to extract relatively essential phrases from the text and input them into the Text Object Perception-Augmentation (TOPA) to fully leverage details such as objects and actions within the instructions. Second, we introduce an Image Object Perception-Augmentation (IOPA), which performs additional modeling of object information across different modalities, enabling the model to more effectively utilize latent clues between objects in images and text, enhancing decision-making accuracy. Extensive experiments on the R2R and REVERIE datasets validate the efficacy of the proposed approach.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI