日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLMarXiv:2510.12845

VLURes: 低資源言語におけるVLMの視覚・言語理解ベンチマーク

VLURes: Benchmarking VLM Visual and Linguistic Understanding in Low-Resource Languages

シェア:XThreadsFacebookLINEはてブBluesky

英語・日本語・スワヒリ語・ウルドゥー語の4言語で、長文テキストを含む8つの視覚言語タスクと無関係性タスクからなる多言語ベンチマークVLUResを構築し、10のVLMを評価した。

詳しい要約

1. どんなもの?

- VLM(Vision Language Model)のfine-grainedなVisual and Linguistic Understandingを評価する新しい多言語ベンチマークVLUResを提案 - 対象言語はEnglish, Japaneseに加えlow-resource languagesであるSwahiliとUrduの4言語 - 8つのvision-and-languageタスクに加え、unrelatedness taskという先駆的なタスクを含む - 画像-テキストペアはlong-text設定で、10の多様なimage categoriesと豊富なtextual contextを網羅 - SwahiliとUrdu向けの貴重なvision-languageリソースを提供

2. 先行研究と比べてどこがすごい?

- 従来のVLM評価は主にEnglish-centricなベンチマークに限定され、画像-テキストペアも短いテキストが中心だった - VLUResは4言語(English, Japanese, Swahili, Urdu)かつlong-text設定でfine-grained能力を評価する点が新しい - low-resource languagesであるSwahiliとUrduのvision-languageリソースを新たに提供 - unrelatedness taskという先駆的タスクを導入し、細粒度の理解を探る点が先行研究と異なる

3. 技術・手法の肝は?

- 対象言語のweb resourcesからデータセットをキュレーションし、10のimage categoriesと豊富なtextual contextを含む - 8つのvision-and-languageタスクとunrelatedness taskでVLMのfine-grainedなVisual and Linguistic Understandingを評価 - VLMにresponseとrationaleの生成を促し、自動評価とnative speakersによる評価の両方を実施 - object recognition, scene understanding, relationship understandingなどintelligent agentsに重要な能力を対象

4. どうやって有効だと検証した?

- 10個のVLMをVLUResで評価 - 最高性能のGPT-4oはoverall accuracy 90.8%を達成し、human performanceに6.7%及ばない結果 - open-source modelsではhumanとのギャップがさらに大きいことを確認 - 自動評価に加えnative speakersによる評価を実施し、言語やタスク間のperformance disparitiesを明らかにした

5. 議論はある?

- 言語間・タスク間のperformance disparitiesが明らかになり、intelligent agents開発におけるVLUResの重要性を示唆 - GPT-4oでもhuman performanceに6.7%及ばず、open-source modelsではギャップがより大きい - このギャップはmulti-modal visual reasoningに取り組むintelligent agents開発におけるVLUResの critical roleを強調 - 具体的な議論の詳細や制限事項は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な先行研究は明示されていない - 関連手法として、English-centricな既存VLMベンチマークやmultilingual VLM評価研究、low-resource languages向けvision-languageリソースの研究が次に読むべき候補 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jesse Atuhurra, Iqra Ali, Tomoya Iwakura, Hidetaka Kamigaito, Tatsuya Hiraoka

分類: cs.CL, cs.AI, cs.CV, cs.RO

原文アブストラクト

Vision Language Models (VLMs) are pivotal for advancing perception in intelligent agents. Yet, evaluation of VLMs remains limited to predominantly English-centric benchmarks in which the image-text pairs comprise short texts. To evaluate VLM fine-grained abilities, in four languages under long-text settings, we introduce a novel multilingual benchmark VLURes featuring eight vision-and-language tasks, and a pioneering unrelatedness task, to probe the fine-grained Visual and Linguistic Understanding capabilities of VLMs across English, Japanese, and low-resource languages, Swahili, and Urdu. Our datasets, curated from web resources in the target language, encompass ten diverse image categories and rich textual context, introducing valuable vision-language resources for Swahili and Urdu. By prompting VLMs to generate responses and rationales, evaluated automatically and by native speakers, we uncover performance disparities across languages and tasks critical to intelligent agents, such as object recognition, scene understanding, and relationship understanding. We conducted evaluations of ten VLMs with VLURes. The best performing model, GPT-4o, achieves an overall accuracy of 90.8% and lags human performance by 6.7%, though the gap is larger for open-source models. The gap highlights VLURes' critical role in developing intelligent agents to tackle multi-modal visual reasoning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI