日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ビデオ理解arXiv:2606.00640

ビデオ複雑度の属性ベース尺度

An Attribute-Based Measure of Video Complexity

シェア:XThreadsFacebookLINEはてブBluesky

ビデオと質問のペアに対するビデオLLMの失敗確率として複雑度を定義し、参照データセットと属性語彙を用いて非パラメトリックに推定する新しい尺度VideoABCを提案した。

詳しい要約

1. どんなもの?

- ビデオと質問のペアがビデオLLMにとってどれだけ複雑かを推定するフレームワーク「Video Attribute-Based Complexity (VideoABC)」を提案。 - ビデオ複雑度を、与えられたビデオ質問ペアに対するビデオLLMの失敗確率と定義。 - 非パラメトリックな複雑度尺度であり、参照ビデオデータセットと複雑度に情報的なビデオ属性の語彙(例:シーン複雑度、ビデオイベントの速度)を用いる。

2. 先行研究と比べてどこがすごい?

- 従来の「video-LLM as judge」などのアプローチと比較して、VideoABCははるかに低い計算コストで大幅に優れた性能を発揮。 - 低次元の属性表現でも有効であることを実験的に示した。 - 複雑度スコアが明確な属性で説明可能であり、ベンチマークの属性構成が複雑度に与える影響について洞察を提供。

3. 技術・手法の肝は?

- 訓練フェーズで参照ビデオを属性空間に射影し、その空間を量子化。各量子化セルの期待ABCを計算。 - 新しいビデオとその属性空間への射影が与えられると、関連する量子化セルの期待ABCから複雑度を推定。 - 小規模な参照ビデオデータセットでも使用可能にするため、2つの量子化器を組み合わせる:k-means量子化器(参照データセットの分布内サンプルに対して正確な複雑度推定を可能にする)と、ユニバーサル格子量子化器(分布外サンプルへの汎化を保証)。 - 訓練中に格子量子化器のセルを埋めるため、心理物理学研究のターゲット・ディストラクタ操作に触発された合成ビデオ生成手順を提案し、各セルの期待ABCを計算可能にする。

4. どうやって有効だと検証した?

- 実験結果により、VideoABCが非常に低次元の属性表現でも有効であることを示した。 - 「video-LLM as judge」のようなアプローチと比較して、はるかに少ない複雑度で大幅に上回る性能を達成。 - また、VideoABCスコアの説明可能な性質が、ベンチマークの属性構成が複雑度に与える影響について洞察を提供することを示した。

5. 議論はある?

- 要旨からは、VideoABCの限界や議論の詳細は明示されていない。 - ただし、説明可能な性質がベンチマークの複雑度分析に有用であることが示唆されている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:`video-LLM as judge`。 - 関連手法:心理物理学研究のターゲット・ディストラクタ操作、k-means量子化器、ユニバーサル格子量子化器。 - 同分野の定番:ビデオLLMの評価手法、ビデオ複雑度推定。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aditya Sarkar, Yi Li, Zihao Wang, Jiacheng Cheng, Sai Vidyaranya Nuthalapati, Aashu Singh, Shlok Kumar Mishra, David Jacobs, Nuno Vasconcelos

分類: cs.CV

原文アブストラクト

A new framework for the estimation of the complexity posed by video-question pairs to video-LLMs, Video Attribute-Based Complexity (VideoABC), is proposed. Video complexity is defined as the probability of failure of a video-LLM for a given video-question pair. VideoABC is a non-parametric complexity measure, using a reference video dataset and a pre-defined vocabulary of video attributes informative of complexity, \eg the scene complexity or the speed of the video event informative of the question. In a training phase, reference videos are projected into the space of these attributes, which is then quantized. The expected ABC of each quantization cell is then computed. Given a new video and its projection into the attribute space, complexity is estimated by the expected ABC of the associated quantization cell. To enable the use of VideoABC with small reference video datasets, two quantizers are combined: a k-means quantizer that enables accurate complexity estimates for samples in the distribution of the reference dataset and a universal lattice quantizer that guarantees generalization to out-of-distribution samples. A synthetic video generation procedure, inspired by target-distractor manipulations of psychophysics studies, is proposed to populate the cells of the lattice quantizer during training, enabling the computation of their expected ABCs. Experimental results show that VideoABCis effective even with very low-dimensional attribute representations, substantially outperforming approaches like `video-LLM as judge' with much less complexity. Finally, the explainable nature of the VideoABC score, in terms of well-defined attributes, is shown to provide insights on how the attribute composition of benchmarks affects their complexity.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI