HumanNet:100万時間の人間中心ビデオ学習のスケーリング
HumanNet: Scaling Human-centric Video Learning to One Million Hours
人間の身体活動を大規模に捉えた100万時間のビデオコーパスを構築し、データキュレーション手法と視覚言語行動モデルの継続学習による有効性を示した論文。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Yufan Deng, Daquan Zhou
分類: cs.CV, cs.RO
原文アブストラクト
Progress in embodied intelligence increasingly depends on scalable data infrastructure. While vision and language have scaled with internet corpora, learning physical interaction remains constrained by the lack of large, diverse, and richly annotated human activity data. We present HumanNet, a one-million-hour human-centric video corpus that captures how humans interact with the physical world at scale. HumanNet spans both first-person and third-person perspectives and covers fine-grained activities, human-object interactions, tool use, and long-horizon behaviors across diverse real-world environments. Beyond raw video, the dataset provides interaction-centric annotations, including captions, motion descriptions, and hand and body-related signals, enabling motion-aware and interaction-aware learning. Beyond scale, HumanNet introduces a systematic data curation paradigm for embodied learning, where human-centric filtering, temporal structuring, viewpoint diversity, and annotation enrichment are treated as first-class design principles. This design transforms unstructured internet video into a scalable substrate for representation learning, activity understanding, motion generation, and human-to-robot transfer. We conduct a first-step validation on the value of this design through controlled vision-language-action ablation: under a fixed set of validation data, continued training from the Qwen VLM model with 1000 hours of egocentric video drawn from HumanNet surpasses the continued training with 100 hours of real-robot data from Magic Cobot, indicating that egocentric human video could be a scalable and cost-effective substitute for robot data. By building this project, we aim to explore the opportunity to scale embodied foundation models using human-centric videos, rather than relying solely on robot-specific data.
関連論文
- DARP: 多視点ロボット知覚のための校正済み双腕RGB-D-IRデータセットデータセット
- uScenes: 水中ロボット知覚のためのマルチモーダルRGB・3Dソナー画像データセットデータセット
- PRISM:マルチモーダルセンシングを備えた精密で接触豊富な実世界産業スキルデータセットデータセット
- NARRATE: 自動運転における人間中心の説明のためのマルチモーダル実世界オーストラリア運転データセットデータセット
- 衛星画像の改ざんとディープフェイク位置特定のためのベンチマークデータセット構築に向けてデータセット
- InteracVid: ライブチャット動画から構築した実インタラクティブ音声視覚応答データセットデータセット
