日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.11350

Search-TTA: 実環境での視覚探索のためのマルチモーダルテスト時適応フレームワーク

Search-TTA: A Multimodal Test-Time Adaptation Framework for Visual Search in the Wild

シェア:XThreadsFacebookLINEはてブBluesky

衛星画像とCLIPを活用した視覚探索において、探索中に不確実性重み付き勾配更新で予測を動的に修正するテスト時適応フレームワークを提案し、大規模生態データセットAVS-Benchで最大30%の性能向上を達成した。

詳しい要約

1. どんなもの?

- 屋外でのvisual navigationおよびvisual searchのためのmultimodal test-time adaptationフレームワーク - 衛星画像をvisual priorとして活用し、target presenceの確率分布を出力 - 各種入力modality(image, text, sound)やplanning手法(RL-basedなど)と互換のplug-and-play interfaceを持つ - AVS-Bench(380k imagesとtaxonomy dataを含むvisual search dataset)を構築し、訓練・評価に使用

2. 先行研究と比べてどこがすごい?

- 既存のinformative path planningやsearch-based手法はprior情報なしを仮定するか、priorの取得過程を考慮しない - 近年のVLM利用手法はhallucinationによりpriorが不正確になり非効率なsearchを招く - Search-TTAはTTAによりsearch中にCLIP予測を動的に精緻化し、初期CLIP予測が悪い場合でもplanner性能を最大30.0%改善 - 大幅に大規模なVLMと同等の性能を示し、未見modalityへのemergent alignmentによるzero-shot generalizationを達成

3. 技術・手法の肝は?

- 衛星画像encoderをCLIPのvisual encoderにalignするようpretrainし、target presenceの確率分布を出力 - TTAフレームワークがsearch中にuncertainty-weighted gradient updatesでCLIP予測を動的にrefine - この更新はSpatial Poisson Point Processesに着想を得ている - 柔軟なplug-and-play interfaceで多様な入力modalityとplanning手法に対応

4. どうやって有効だと検証した?

- AVS-Bench(internet-scale ecological dataに基づく380k imagesとtaxonomy dataのvisual search dataset)を構築し訓練・評価 - planner性能が最大30.0%向上、特にdomain mismatchやtraining data不足で初期CLIP予測が悪い場合に有効 - 大規模VLMと同等性能、未見modalityへのzero-shot generalizationを確認 - 実UAVにdeployし、onboard sensingを提供する大規模simulation内でhardware-in-the-loop testingを実施

5. 議論はある?

- 初期CLIP予測が悪い状況(domain mismatch、限られたtraining data)での有効性が示される一方、その他の条件下での限界は要旨からは不明 - VLMのhallucination問題への対処としてTTAを位置づけているが、hallucination自体の定量評価は要旨からは不明 - 実UAVでのhardware-in-the-loop testingは実施されているが、実環境field testの詳細は要旨からは不明

6. 次に読むべき論文は?

- CLIP (Radford et al.) - Vision Language Models (VLMs)を用いたprior生成に関する近年の研究 - informative path planning / search-based approaches - Spatial Poisson Point Processes - RL-based planning手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Derek Ming Siang Tan, Shailesh, Boyang Liu, Alok Raj, Qi Xuan Ang, Weiheng Dai, Tanishq Duhan, Jimmy Chiun, Yuhong Cao, Florian Shkurti, Guillaume Sartoretti

分類: cs.RO

原文アブストラクト

To perform outdoor visual navigation and search, a robot may leverage satellite imagery to generate visual priors. This can help inform high-level search strategies, even when such images lack sufficient resolution for target recognition. However, many existing informative path planning or search-based approaches either assume no prior information, or use priors without accounting for how they were obtained. Recent work instead utilizes large Vision Language Models (VLMs) for generalizable priors, but their outputs can be inaccurate due to hallucination, leading to inefficient search. To address these challenges, we introduce Search-TTA, a multimodal test-time adaptation framework with a flexible plug-and-play interface compatible with various input modalities (e.g., image, text, sound) and planning methods (e.g., RL-based). First, we pretrain a satellite image encoder to align with CLIP's visual encoder to output probability distributions of target presence used for visual search. Second, our TTA framework dynamically refines CLIP's predictions during search using uncertainty-weighted gradient updates inspired by Spatial Poisson Point Processes. To train and evaluate Search-TTA, we curate AVS-Bench, a visual search dataset based on internet-scale ecological data containing 380k images and taxonomy data. We find that Search-TTA improves planner performance by up to 30.0%, particularly in cases with poor initial CLIP predictions due to domain mismatch and limited training data. It also performs comparably with significantly larger VLMs, and achieves zero-shot generalization via emergent alignment to unseen modalities. Finally, we deploy Search-TTA on a real UAV via hardware-in-the-loop testing, by simulating its operation within a large-scale simulation that provides onboard sensing.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI