日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.10855

多様な海岸環境における視覚言語モデルの評価

Evaluation of Vision-Language Models Across Diverse Coastal Environments

シェア:XThreadsFacebookLINEはてブBluesky

ハワイの海岸で収集した1000枚以上の画像データセットを構築し、7つの視覚言語モデルを3つの実験で評価した。海岸特有の概念の認識が難しいが、その原因は環境よりもセグメンテーションと言語表現にあることを示した。

詳しい要約

1. どんなもの?

- 海岸環境におけるVision-Language Models (VLMs)の性能評価 - ハワイOahu島の3地域で7ミッションから収集した1,000枚以上の画像を含む密ラベル付き海岸データセットを導入 - 18のセマンティッククラスと7,400以上のアノテーションインスタンス - 7つの現代VLMを3つの補完的実験(text-to-mask, mask-to-mask, mask-to-text alignment)で評価

2. 先行研究と比べてどこがすごい?

- 海岸環境におけるVLMの性能はこれまでほとんど未探索 - 従来の研究は陸上環境に焦点を当てていたが、本研究は海岸環境に特化した初の大規模評価 - 共有される従来クラスを海岸と陸上のデータセット間で比較し、環境コンテキストのみに起因する性能差がないことを明らかにした

3. 技術・手法の肝は?

- 密にラベル付けされた海岸データセットの構築 - 7つのVLMを3つの実験(text-to-mask, mask-to-mask, mask-to-text alignment)で評価 - 共有クラスを海岸と陸上のデータセット間で比較 - 代替テキストラベルの影響を分析

4. どうやって有効だと検証した?

- 7つのVLMを3つの補完的実験で評価 - 広い景観クラスは従来の物体や海岸クラスよりも正確に認識されることを示した - 海岸概念が最大の課題であることを明らかにした - 共有クラスの比較により、環境コンテキストのみによる性能差がないことを検証 - 代替テキストラベルがいくつかの海岸概念の認識を大幅に改善することを示した

5. 議論はある?

- 海岸クラスでの低性能は、少なくとも評価された物体/クエリカテゴリでは、セグメンテーションと言語表現に大きく影響される - 環境コンテキスト自体は一貫した性能差を生まない - mask-to-maskマッチングは従来クラスと海岸クラスで同様 - 代替テキストラベルが認識を改善する可能性

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法としてVision-Language Models (VLMs)の評価研究、海岸環境のセマンティックセグメンテーション、text-to-mask/mask-to-text alignmentの研究が挙げられる - 同分野の定番としてCLIP, ALIGN, FlamingoなどのVLMや、COCO, ADE20Kなどのデータセットが参考になる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seth Knoop, Chad R. Samuelson, Gabriel R. Slade, Brady Moon, Joshua G. Mangelson

分類: cs.CV, cs.RO

原文アブストラクト

Vision-language models (VLMs) enable robotic per- ception by associating visual observations with natural-language concepts. Yet their performance in coastal environments remains largely unexplored. We introduce a densely labeled coastal dataset containing more than 1,000 images collected across seven missions in three regions of Oahu, Hawaii, with 18 semantic classes and over 7,400 annotated instances. We evaluate seven modern VLMs through three complementary experiments mea- suring text-to-mask, mask-to-mask, and mask-to-text alignment. Broad landscape classes are generally recognized more accurately than conventional object and coastal classes, with coastal con- cepts presenting the greatest challenge. However, comparisons of shared conventional classes across coastal and terrestrial datasets reveal no consistent performance difference attributable solely to environmental context. Mask-to-mask matching also remains similar across conventional and coastal classes, while alternative textual labels substantially improve recognition of several coastal concepts. These results suggest that lower performance on coastal classes (at least on the objects/query categories evaluated) is heavily influenced by segmentation and linguistic representation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI