日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.15597

Being-H0: 大規模人間動画からの視覚-言語-行動事前学習

Being-H0: Vision-Language-Action Pretraining from Large-Scale Human Videos

シェア:XThreadsFacebookLINEはてブBluesky

大規模な人間の動画を活用し、巧みな操作を可能にする視覚-言語-行動モデルを事前学習する手法を提案。物理指示チューニングにより、実世界のロボット操作への転移性能を向上させた。

詳しい要約

1. どんなもの?

- 大規模な人間動画から学習する dexterous Vision-Language-Action model (VLA)『Being-H0』の提案 - 人間の手を foundation manipulator と位置づけ、web データの器用さ・スケールを活用 - physical instruction tuning と呼ぶ新規学習パラダイムを中心に構成 - 数百万規模の motion-based instructional instances を持つ大規模データセットを構築 - 手の動作生成・指示追従・実ロボット操作への応用を狙う

2. 先行研究と比べてどこがすごい?

- 既存 VLA は synthetic data の sim-to-real gap や teleoperated demonstrations の規模・多様性不足で複雑な manipulation に弱い - 本研究は人間動画を大規模に用いることでこのデータボトルネックを回避 - 人間の手の rich dexterity と web データの scalability を活用する点が従来と異なる - 単なる模倣ではなく physical instruction tuning により 3D 推論とロボット適応を統合 - モデル・データ規模に対するスケーリング性も示す

3. 技術・手法の肝は?

- physical instruction tuning: 人間動画からの大規模 VLA pretraining、physical space alignment による 3D 推論、ロボットタスク向け post-training adaptation の3要素 - part-level motion tokenization: ミリメートル級の再構成精度で精密な手軌道をモデル化し action learning に利用 - データキュレーション: motion capture、VR、RGB-only 動画など異種ソースを統合し大規模データセット化 - 人間の手を基盤マニピュレータとして扱う設計

4. どうやって有効だと検証した?

- 手の動作生成と instruction following における性能を実証的に示す - モデルサイズ・データサイズに対するスケーリング性を確認 - physical instruction tuning 適用により実世界ロボット manipulation で期待される性能向上を観測 - 詳細な実験設定・ベースラインは要旨からは不明

5. 議論はある?

- 人間動画とロボット実機の間の embodiment gap の扱いは要旨からは不明 - RGB-only 動画からの手軌道抽出精度やノイズの影響は要旨からは不明 - physical space alignment の具体的な誤差要因や限界は要旨からは不明 - 実世界 manipulation の評価タスク範囲・被験者数などは要旨からは不明

6. 次に読むべき論文は?

- 既存 VLA の代表的手法(例: RT-2、OpenVLA など一般名)との比較論文 - 人間動画を用いる VLA pretraining 関連研究(例: GR-1、EgoVLA など同分野の定番) - part-level motion tokenization や hand trajectory モデリングの関連研究 - sim-to-real gap を扱うロボット学習研究 - 詳細は要旨で明示的な参照がないため、同分野の定番を一般名で挙げるにとどめる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hao Luo, Yicheng Feng, Wanpeng Zhang, Sipeng Zheng, Ye Wang, Haoqi Yuan, Jiazheng Liu, Chaoyi Xu, Qin Jin, Zongqing Lu

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

We introduce Being-H0, a dexterous Vision-Language-Action model (VLA) trained on large-scale human videos. Existing VLAs struggle with complex manipulation tasks requiring high dexterity and generalize poorly to novel scenarios and tasks, primarily due to their reliance on synthetic data with significant sim-to-real gaps or teleoperated demonstrations lacking scale and diversity. To address this data bottleneck, we propose leveraging human hands as a foundation manipulator, capitalizing on the rich dexterity and scalability present in web data. Our approach centers on physical instruction tuning, a novel training paradigm that combines large-scale VLA pretraining from human videos, physical space alignment for 3D reasoning, and post-training adaptation for robotic tasks. Additionally, we introduce a part-level motion tokenization method which achieves millimeter-level reconstruction accuracy to model precise hand trajectories for action learning. To support our proposed paradigm, we further develop a comprehensive data curation pipeline that integrates heterogeneous sources -- including motion capture, VR, and RGB-only videos -- into a large-scale dataset with millions of motion-based instructional instances. We empirically show the excellence of Being-H0 in hand motion generation and instruction following, and it also scales well with model and data sizes. Importantly, we observe the expected gains of Being-H0 in real-world robotic manipulation as physical instruction tuning is applied. More details are available at https://beingbeyond.github.io/Being-H0.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI