日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データセットarXiv:2605.06747

HumanNet:100万時間の人間中心ビデオ学習のスケーリング

HumanNet: Scaling Human-centric Video Learning to One Million Hours

シェア:XThreadsFacebookLINEはてブBluesky

人間の身体活動を大規模に捉えた100万時間のビデオコーパスを構築し、データキュレーション手法と視覚言語行動モデルの継続学習による有効性を示した論文。

詳しい要約

1. どんなもの?

- HumanNetは、100万時間規模のhuman-centric video corpus - 一人称視点と三人称視点の両方を含む - fine-grained activities、human-object interactions、tool use、long-horizon behaviorsを網羅 - 多様な実世界環境をカバー - 生の動画に加え、captions、motion descriptions、hand and body-related signalsなどのinteraction-centric annotationsを提供 - motion-awareおよびinteraction-aware learningを可能にする - embodied learningのための体系的なdata curation paradigmを導入 - human-centric filtering、temporal structuring、viewpoint diversity、annotation enrichmentを第一級の設計原則とする - 非構造化インターネット動画を、rep…

2. 先行研究と比べてどこがすごい?

- 従来、visionと言語はインターネットコーパスでスケールしてきたが、physical interactionの学習は大規模で多様かつ豊富に注釈されたhuman activity dataの不足により制約されていた - HumanNetは100万時間という規模でhuman-centric videoを収集し、この制約に対処 - 単なる規模だけでなく、human-centric filtering、temporal structuring、viewpoint diversity、annotation enrichmentを設計原則とする体系的なdata curation paradigmを導入した点が新しい - これにより、非構造化インターネット動画をembodied learningの基盤として活用する道を開く - 従来のrobot-specific dataに依存しないスケーラブルなアプローチを提案

3. 技術・手法の肝は?

- 100万時間のhuman-centric video corpusを構築 - 一人称視点と三人称視点の両方を含む - fine-grained activities、human-object interactions、tool use、long-horizon behaviorsをカバー - 多様な実世界環境から収集 - interaction-centric annotationsとしてcaptions、motion descriptions、hand and body-related signalsを付与 - data curation paradigmとして、human-centric filtering、temporal structuring、viewpoint diversity、annotation enrichmentを第一級の設計原則として扱う - これにより非構造化インターネット動画をスケーラブルな基盤に変換 - 具体的な収集・注釈手法の詳細は要旨からは不明

4. どうやって有効だと検証した?

- controlled vision-language-action ablationを実施 - 固定されたvalidation dataの下で、Qwen VLMモデルをHumanNetから抽出した1000時間のegocentric videoで継続訓練 - 同じくQwen VLMモデルをMagic Cobotの100時間のreal-robot dataで継続訓練 - 前者が後者を上回る結果を示した - これにより、egocentric human videoがrobot dataのスケーラブルで費用対効果の高い代替となり得ることを示唆 - ただし、具体的な評価指標やタスクの詳細は要旨からは不明

5. 議論はある?

- HumanNetの設計の価値をcontrolled vision-language-action ablationで検証 - egocentric human videoがrobot dataの代替となり得る可能性を示唆 - これにより、robot-specific dataだけに依存せず、human-centric videoを用いてembodied foundation modelsをスケールする機会を探求することを目的とする - 一方で、human-centric videoの限界やrobot transferの課題、データ収集の倫理的問題などについては要旨からは不明 - 今後の議論の余地がある

6. 次に読むべき論文は?

- Qwen VLM(要旨で比較に使用) - Magic Cobot(要旨で比較に使用) - 関連手法として、vision-language-action models、embodied foundation models、human-to-robot transferに関する研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yufan Deng, Daquan Zhou

分類: cs.CV, cs.RO

原文アブストラクト

Progress in embodied intelligence increasingly depends on scalable data infrastructure. While vision and language have scaled with internet corpora, learning physical interaction remains constrained by the lack of large, diverse, and richly annotated human activity data. We present HumanNet, a one-million-hour human-centric video corpus that captures how humans interact with the physical world at scale. HumanNet spans both first-person and third-person perspectives and covers fine-grained activities, human-object interactions, tool use, and long-horizon behaviors across diverse real-world environments. Beyond raw video, the dataset provides interaction-centric annotations, including captions, motion descriptions, and hand and body-related signals, enabling motion-aware and interaction-aware learning. Beyond scale, HumanNet introduces a systematic data curation paradigm for embodied learning, where human-centric filtering, temporal structuring, viewpoint diversity, and annotation enrichment are treated as first-class design principles. This design transforms unstructured internet video into a scalable substrate for representation learning, activity understanding, motion generation, and human-to-robot transfer. We conduct a first-step validation on the value of this design through controlled vision-language-action ablation: under a fixed set of validation data, continued training from the Qwen VLM model with 1000 hours of egocentric video drawn from HumanNet surpasses the continued training with 100 hours of real-robot data from Magic Cobot, indicating that egocentric human video could be a scalable and cost-effective substitute for robot data. By building this project, we aim to explore the opportunity to scale embodied foundation models using human-centric videos, rather than relying solely on robot-specific data.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI