日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

映像理解arXiv:2606.26904

信頼度を考慮したツール連携による堅牢な映像理解

Confidence-Aware Tool Orchestration for Robust Video Understanding

シェア:XThreadsFacebookLINEはてブBluesky

映像推論モデルが入力フレームの劣化(ぼけや遮蔽など)を盲信する問題を指摘し、フレームごとの信頼度を推論に組み込むエージェント型フレームワークRobust-TOを提案した。

詳しい要約

1. どんなもの?

ビデオ推論モデルが全フレームを等しく信頼する『Blind Trust Problem』を解決する、agentic video understanding framework『Robust-TO』を提案。 - 各フレームの信頼性を推論の全段階に明示的に統合 - 異種の視覚知覚ツールを統一evidence interfaceで整理 - 各ツールはsub-queryと信頼できるフレームを受け取り、予測・時間的grounding・calibrated reliability scoreを返す - 信頼性スコアがevidence weightingとconfidence-cost GRPO rewardを導く

2. 先行研究と比べてどこがすごい?

従来のvideo reasoning language modelsは入力フレームの信頼性を暗黙に仮定し、motion blur・glare・occlusion等で15-30%pの精度低下を起こす。 - Robust-TOはclean入力で56.4%平均精度を達成し、最強のopen-source baselineを10.6%p上回り、Gemini-2.5-Pro (46.2%)も凌駕 - 5種類の現実的corruption下でも54.3%平均精度を維持し、最強open-source baselineを5.8%p上回る - 全比較手法中でclean-to-corrupted精度低下が最小

3. 技術・手法の肝は?

Robust-TOの肝は、フレーム単位のtrustworthinessを推論全体に組み込む点。 - 異種視覚知覚ツールを統一evidence interface下に配置 - 各ツールは元質問から派生したsub-queryと、reliability-relevance scoreで選ばれた信頼フレーム集合を受け取る - 共有形式で具体的予測(bounding box、motion trajectory、recognized text、action label等)、temporal grounding、calibrated reliability scoreを返す - 推論時、calibrated scoreがthree-tier synthesis(high/medium/low)のevidence weightingを導く - confidence-cost GRPO rewardがcorrectness・evidence reliability・efficiencyを同時最適化

4. どうやって有効だと検証した?

2つのvideo reasoning benchmarks、8タスクで検証。 - clean入力で56.4%平均精度、最強open-source baselineを10.6%p上回り、Gemini-2.5-Pro (46.2%)を超える - 5種類の現実的corruption下で54.3%平均精度、最強open-source baselineを5.8%p上回る - 全比較手法中でclean-to-corrupted精度低下が最小であることを示す

5. 議論はある?

要旨からは不明。 - 限界や失敗事例、計算コスト、ツール選択の一般性、corruption以外の分布シフトへの頑健性などは明示されていない

6. 次に読むべき論文は?

要旨で参照・比較されている研究や関連手法を挙げる。 - Gemini-2.5-Pro(比較対象のfrontier video reasoning model) - open-source video reasoning baselines(最強open-source baselineとして言及) - GRPO(reward最適化手法として使用) - 関連分野の定番としてvideo reasoning language models、agentic video understanding、tool orchestration、calibrated reliability estimation

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yangfan He, Yujin Choi, Jaehong Yoon

分類: cs.CV, cs.AI

原文アブストラクト

Video reasoning language models implicitly assume that every input frame is equally reliable. This leads to what we term the Blind Trust Problem: under realistic perturbations such as motion blur, glare, or occlusion, frontier video reasoning models can suffer 15-30%p accuracy drops on real-world embodied benchmarks, while remaining unaware that their visual evidence has been degraded. To address this challenge, we propose Robust-TO, an agentic video understanding framework that explicitly integrates per-frame trustworthiness into every stage of reasoning. Robust-TO organizes heterogeneous visual perception tools under a unified evidence interface. Each tool receives a sub-query derived from the original question and a set of trustworthy frames selected by the reliability-relevance score. It returns evidence in a shared format: a concrete prediction (e.g., a bounding box, motion trajectory, recognized text, or action label), temporal grounding, and a calibrated reliability score. During reasoning, these calibrated scores guide evidence weighting in a three-tier synthesis process (high/medium/low) and define a confidence-cost GRPO reward that jointly optimizes correctness, evidence reliability, and efficiency. On two video reasoning benchmarks spanning eight tasks, Robust-TO achieves 56.4% average accuracy on clean inputs, surpassing the strongest open-source baseline by 10.6%p and outperforming Gemini-2.5-Pro (46.2%). Under five realistic corruption types, Robust-TO maintains 54.3% average accuracy, 5.8%p above the strongest open-source baseline, while exhibiting the smallest clean-to-corrupted accuracy drop among all compared methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI