日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.08615

実世界のストリーミング動画の活用

Harnessing Streaming Video in the Wild

シェア:XThreadsFacebookLINEはてブBluesky

オフライン動画理解に優れる既存のVLMを、ストリーミング動画の対話・理解に適応させるためのデータセット、訓練手法、デプロイシステム、評価ベンチマークを提案した論文。

詳しい要約

1. どんなもの?

- 本論文は、Vision-Language Models (VLMs) をストリーミング動画処理に適応させるための総合的なフレームワークを提案する。 - 具体的には、ストリーミングデータセット Streaming-Train-248K、プラグアンドプレイシステム Streaming Harness、ベンチマーク Streaming-Eval を構築。 - これにより、プロアクティブなインタラクション、長期記憶、リアルタイム処理を実現する。

2. 先行研究と比べてどこがすごい?

- 既存の VLMs はオフライン動画理解に優れるが、ストリーミング能力や専用インフラが不足。 - 本研究は、バックボーン能力、実世界展開、評価ベンチマークの3つの側面でこのギャップを埋める。 - 特に、任意の VLM にストリーミング能力を付与するプラグアンドプレイシステムを提供する点が新しい。

3. 技術・手法の肝は?

- バックボーン能力: Streaming-Train-248K データセットと新しい訓練目的関数を構築し、VLMs をストリーミングインタラクションと理解に適応させる。 - 実世界展開: Streaming Harness は、毎秒の応答決定、12時間のコンテキスト保持、サブ秒レイテンシを実現する。 - 評価: Streaming-Eval ベンチマークを設計し、多様な実世界シナリオでの能力を測定。

4. どうやって有効だと検証した?

- 広範な実験により、ストリーミング動画理解に必要な全てのコア能力で一貫した性能向上を実証。 - 具体的な検証方法やデータセットの詳細は要旨からは不明。

5. 議論はある?

- 要旨からは、限界や議論点についての明示的な記述はない。 - データ、コード、ベンチマークをオープンソース化し、コミュニティの進展を促すことを述べている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Vision-Language Models (VLMs) やオフライン動画理解の研究が挙げられる。 - 同分野の定番として、Video Understanding や Streaming Perception の論文が参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dingyu Yao, Shuhuan Gu, Qingyi Si, Junhao Zhou, Chenxu Yang, Chuanyu Qin, Naibin Gu, Zheng Lin, Weiping Wang, Nan Duan, Jiaqi Wang

分類: cs.CV, cs.CL

原文アブストラクト

Vision-Language Models (VLMs) are increasingly required to process unbounded video streams in applications such as video-call assistants, live commentary, and embodied robots. An ideal streaming system should support proactive interaction, long-horizon memory, and real-time processing, while resting on a VLM backbone capable of handling diverse in-the-wild streaming tasks. However, existing VLMs excel at offline video understanding but fall short in streaming capabilities and lack dedicated infrastructure for streaming deployment. We address this gap on three fronts. (i) For backbone capability, we construct \textbf{Streaming-Train-248K}, a streaming dataset paired with a novel training objective for adapting VLMs to streaming interaction and understanding. (ii) For real-world deployment, we introduce \textbf{Streaming Harness}, a plug-and-play system that endows any VLM with three core abilities: proactive interaction (per-second response decisions), long-term memory (12-hour context retention), and real-time processing (sub-second latency). (iii) To drive continued community progress on streaming capabilities, we design \textbf{Streaming-Eval}, a benchmark that reflects models' capabilities across diverse in-the-wild scenarios. Extensive experiments demonstrate consistent gains from our approach across all core capabilities required for streaming video understanding. We will open-source our data, code, and benchmark to advance the community's shift from offline video understanding to deployable streaming intelligence.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI