日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.21750

SO-Bench:マルチモーダルLLMの構造化出力評価ベンチマーク

SO-Bench: A Structural Output Evaluation of Multimodal LLMs

シェア:XThreadsFacebookLINEはてブBluesky

UI画面・自然画像・文書・グラフの4領域で、画像からJSONスキーマに沿った構造化出力を生成する能力を評価するベンチマークSO-Benchを構築し、既存モデルの課題を明らかにした。

詳しい要約

1. どんなもの?

- 本論文は、Multimodal LLM (MLLM) の visual structural output 能力を体系的に評価する SO-Bench を提案する研究。 - 出力の正しさだけでなく、事前定義された JSON schema への準拠を評価対象とする。 - UI screens、natural images、documents、charts の4つの visual domain をカバー。 - 6.5K 以上の多様な JSON schema と、人手で品質検証された 1.8K の image-schema pair から構築。 - benchmark と評価コードを公開。

2. 先行研究と比べてどこがすごい?

- テキスト領域では structured generation の進展がある一方、visual input に対する schema-grounded な情報抽出・推論を体系的に評価する benchmark は存在しなかった。 - 本研究は MLLM の visual structural output に焦点を当てた包括的 benchmark として SO-Bench を提示。 - 単なる正解精度ではなく、schema 準拠性を含めて評価する点が従来と異なる。 - 4つの visual domain と大規模な JSON schema 集合を組み合わせ、人手検証済みの image-schema pair を備える点が特徴。

3. 技術・手法の肝は?

- SO-Bench は 6.5K 以上の JSON schema と 1.8K の curated image-schema pair で構成され、人手で品質を検証。 - UI screens、natural images、documents、charts の4領域を対象に、画像入力から schema に沿った構造化出力を生成させる評価を設計。 - open-sourced モデルと frontier proprietary モデルの両方を benchmark 実験で比較。 - benchmark 評価に加え、モデルの structured output 能力を大きく改善するための training 実験も実施。 - 具体的なモデル名・学習手法の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- open-sourced モデルおよび frontier proprietary モデルに対して benchmarking 実験を実施。 - 正確かつ schema compliant な出力の予測に持続的なギャップがあることを確認。 - さらに training 実験を行い、モデルの structured output 能力を大きく改善できることを示した。 - benchmark と評価は公開されており、再現・比較が可能。 - 個別の評価指標やスコアの詳細は要旨からは不明。

5. 議論はある?

- 実験結果から、MLLM には正確で schema compliant な structured output を生成する能力に依然としてギャップがあると議論。 - より良い multimodal structured reasoning の必要性を強調。 - training 実験により structured output 能力を大きく改善できる可能性を示唆。 - 具体的な限界・失敗要因・倫理的考察の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 本論文が参照・比較している個別研究は要旨からは不明。 - 関連手法として、テキスト領域の structured generation、JSON schema に基づく情報抽出、MLLM の visual reasoning、UI/document/chart 理解の各研究が次に読む候補。 - 公開 benchmark (https://github.com/apple/ml-sobench) を用いた追実験・比較研究も有用。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Di Feng, Kaixin Ma, Feng Nan, Haofeng Chen, Bohan Zhai, David Griffiths, Mingfei Gao, Zhe Gan, Eshan Verma, Yinfei Yang, Zhifeng Chen, Afshin Dehghan

分類: cs.CV, cs.AI, cs.CL, cs.RO

原文アブストラクト

Multimodal large language models (MLLMs) are increasingly deployed in real-world, agentic settings where outputs must not only be correct, but also conform to predefined data schemas. Despite recent progress in structured generation in textual domain, there is still no benchmark that systematically evaluates schema-grounded information extraction and reasoning over visual inputs. In this work, we conduct a comprehensive study of visual structural output capabilities for MLLMs with our carefully designed SO-Bench benchmark. Covering four visual domains, including UI screens, natural images, documents, and charts, SO-Bench is built from over 6.5K diverse JSON schemas and 1.8K curated image-schema pairs with human-verified quality. Benchmarking experiments on open-sourced and frontier proprietary models reveal persistent gaps in predicting accurate, schema compliant outputs, highlighting the need for better multimodal structured reasoning. Beyond benchmarking, we further conduct training experiments to largely improve the model's structured output capability. We make the benchmark and evaluation publicly available at https://github.com/apple/ml-sobench

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI