日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.24985

DarkQA: 低照度屋内環境における視覚的プリミティブ質問応答のための視覚言語モデルベンチマーク

DarkQA: Benchmarking Vision-Language Models on Visual-Primitive Question Answering in Low-Light Indoor Scenes

シェア:XThreadsFacebookLINEはてブBluesky

低照度環境での視覚言語モデルの性能を評価するため、物理的に忠実な劣化を再現した9.4Kの質問応答ペアからなるベンチマークDarkQAを提案し、既存モデルの性能低下とLLIE前処理の不安定さを明らかにした。

詳しい要約

1. どんなもの?

- DarkQAは、embodied scenariosにおける多段階のlow-light条件下でVLMの知覚プリミティブを評価するオープンソースbenchmark - 単一視点のegocentric観察を制御されたdegradation levelで評価し、複雑なembodiedタスクと絡む前にlow-light知覚の失敗を切り分ける - 9.4Kの決定論的に生成・検証可能なquestion-image pairを含み、5つのvisual-primitive familyを網羅 - 物理的忠実性が設計の要で、linear RAW spaceで照明低下とsensor noiseをモデル化しISP-inspired rendering pipelineを適用 - 合成データを実ペアのlow-light camera dataと照合して検証 - 代表的なVLMとLLIE前処理手法を評価

2. 先行研究と比べてどこがすごい?

- 既存benchmarkは理想的で十分に明るい条件でのVLM能力を評価しており、夜間や暗環境のlow-light条件はほとんど見過ごされてきた - DarkQAは24/7運用に必要な多段階low-light下の知覚評価に焦点を当てる点が新しい - 複雑なembodiedタスクと切り離し、visual-primitive levelでlow-light知覚失敗をisolateする設計 - linear RAW spaceでの物理ベースのdegradation modelingとISP-inspired renderingにより物理的忠実性を追求 - 合成データを実low-light camera dataと照合して妥当性を確認している点

3. 技術・手法の肝は?

- linear RAW spaceでphysics-based illumination dropとsensor noiseをシミュレート - その後ISP-inspired rendering pipelineで画像を生成 - 単一視点egocentric観察を制御されたdegradation levelで生成 - 9.4Kの決定論的生成・検証可能なquestion-image pairを5つのvisual-primitive familyにわたり構築 - 合成データを実ペアlow-light camera dataと比較して物理的忠実性を検証 - 代表VLMとLLIE前処理手法を組み合わせて評価する枠組みを提供

4. どうやって有効だと検証した?

- 合成したlow-lightデータを実ペアのlow-light camera dataと照合して検証 - 代表的なVLMとLLIE前処理手法をDarkQA上で評価 - 結果としてlow illuminationとsensor noise下でVLM性能が一貫して低下することを示す - LLIEはseverity-dependentだが不安定な回復を示すことを確認 - 広範なstate-of-the-art VLMとLLIEモデルを評価し、困難な視覚条件下でのVLMの限界を体系的に明らかにした

5. 議論はある?

- low-light下でVLMが一貫して劣化し、LLIEによる回復がseverity依存かつ不安定である点が議論の焦点 - visual-primitive levelで切り分ける設計の妥当性や、linear RAW space modelingとISP-inspired pipelineの物理的忠実性が論点になり得る - 合成データと実データの照合範囲や、単一視点egocentric観察への限定が一般化の議論に関わる - 具体的な議論や限界の詳細は要旨からは不明

6. 次に読むべき論文は?

- Low-Light Image Enhancement (LLIE)の代表手法 - ISP-inspired rendering pipelineに関する研究 - linear RAW spaceでのsensor noise modeling - embodied agents向けVLMの知覚評価benchmark - 実ペアlow-light camera dataを用いた合成データ検証手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yohan Park, Hyunwoo Ha, Wonjun Jo, Tae-Hyun Oh

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

Vision Language Models (VLMs) are increasingly adopted as central reasoning modules for embodied agents. Existing benchmarks evaluate their capabilities under ideal, well-lit conditions, yet robust 24/7 operation demands performance under a wide range of visual degradations, including low-light conditions at night or in dark environments, a core necessity that has been largely overlooked. To address this underexplored challenge, we present DarkQA, an open-source benchmark for evaluating perceptual primitives under multi-level low-light conditions in embodied scenarios. DarkQA evaluates single-view egocentric observations across controlled degradation levels, isolating low-light perceptual failures before they are entangled with complex embodied tasks. The benchmark contains 9.4K deterministically generated and verifiable question-image pairs spanning five visual-primitive families. A key design feature of DarkQA is its physical fidelity: visual degradations are modeled in linear RAW space, simulating physics-based illumination drop and sensor noise followed by an ISP-inspired rendering pipeline; we further validate the synthesis against real paired low-light camera data. We evaluate representative VLMs and Low-Light Image Enhancement (LLIE) preprocessing methods. Results show consistent VLM degradation under low illumination and sensor noise, while LLIE provides severity-dependent but unstable recovery. We demonstrate the utility of DarkQA by evaluating a wide range of state-of-the-art VLMs and Low-Light Image Enhancement (LLIE) models, and systematically reveal VLMs' limitations when operating under these challenging visual conditions. Our code and benchmark dataset will be released upon acceptance. Project website: https://darkqa-benchmark.github.io

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI