動画ストレージ2026/10/21arXiv:2610.33079

AI学習向け動画ストレージの再考：フレーム間依存を断ち切る高効率ランダムアクセス

Rethinking Video Storage for AI Training: Breaking Cross-Frame Dependencies for Efficient Random Access

AI学習のランダムなフレームサンプリングに最適化し、依存関係を考慮した疎なデコードとDDRA符号化で再構成コストを最大3フレームに抑える動画ストレージ手法を提案した論文。

詳しい要約

1. どんなもの？

- 大規模AI学習向けの動画データセットにおけるランダム時間サンプリングを効率化する動画ストレージ/デコード手法の提案。 - 既存の動画ストレージは連続再生向けにフレーム間参照構造で圧縮効率を最大化しており、ランダムサンプリングではdecode amplificationが生じる問題を指摘。 - これを解消するDependency-aware sparse decodingとDDRA (Dependency-Decoupled Random Access) encodingを提案。

2. 先行研究と比べてどこがすごい？

- 既存の逐次再生最適化ストレージや、独立JPEGフレーム・短いGOPといった回避策は、decode負荷を下げる代わりにストレージ/転送量が増大する。 - 提案法はtranscodingせずに不要な再構成をスキップし、inter-frame predictionを保ちつつ再構成を要求ターゲットあたり最大3フレームに制限。 - 大規模robotics corpusでLeRobot v3比1.45倍のloading throughput、media payload 58.7%削減を同等品質で達成。

3. 技術・手法の肝は？

- decode amplificationの二要因（無関係フレームの逐次再構成、サンプル対象が必要とする参照チェーンの再構成）を特定。 - Dependency-aware sparse decodingで要求フレームと必要参照のみを再構成し、無関係な再構成をスキップ（transcoding不要）。 - オプションのDDRA encodingで各interior frameを2つのbounding intra-coded anchorsに制限し参照再構成を削減。 - デコードスケジュールと参照構造をco-design。

4. どうやって有効だと検証した？

- 大規模robotics corpusでの実験により検証。 - 同等のreconstruction qualityでLeRobot v3比1.45倍のloading throughput、58.7%少ないmedia payloadを達成。 - 詳細な実験設定・指標の定義は要旨からは不明。

5. 議論はある？

- DDRAはオプションのoffline encodingであり、その適用条件やコストは要旨からは不明。 - 再構成を最大3フレームに制限する設計の品質・圧縮率への影響の詳細は要旨からは不明。 - 他データセットや他コーデックへの一般性は要旨からは不明。

6. 次に読むべき論文は？

- LeRobot v3（比較対象のベースライン） - 独立JPEGフレーム方式および短いGOP（groups of pictures）方式 - inter-frame predictionを用いる一般的な動画圧縮（H.264/HEVC等の参照構造）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zetian Song, Qize Yu, Yue Chen, Bohan Zhou, Bowen Ping, Yuqi Ye, Haocheng Tang, Haotian Zhang, Qizhe Wang, Shiyu Huang, Jiaqi Zhang, Siwei Ma, Wen Gao

分類: cs.CV, eess.IV

原文アブストラクト

Large-scale AI training increasingly relies on massive video datasets with random temporal sampling patterns. However, existing video storage paradigms are optimized for sequential playback and employ sophisticated inter-frame reference structures to maximize compression efficiency. When applied to the random-sampling workloads of AI training, these paradigms face substantial decoding-efficiency bottlenecks. Workarounds such as independent JPEG frames and short groups of pictures (GOPs) reduce decoding work at the cost of larger storage and transfer volumes. In this paper, we identify two sources of decode amplification: sequential reconstruction of unrelated frames and reconstruction of the reference chains required by sampled targets. We address both sources by co-designing the decoding schedule and video reference structure. Dependency-aware sparse decoding reconstructs only requested frames and their required references, skipping unrelated reconstruction without transcoding the source videos. Optional offline Dependency-Decoupled Random Access (DDRA) encoding further reduces reference reconstruction by restricting each interior frame to two bounding intra-coded anchors. Together, sparse decoding and DDRA retain inter-frame prediction while bounding reconstruction to at most three frames per requested target, independent of the intra period. Experiments on a large-scale robotics corpus show that, at comparable reconstruction quality, our method achieves $1.45\times$ the loading throughput of LeRobot v3 with 58.7% less media payload.

arXivで原文を読む →arXiv概要ページ

← 論文一覧