ビデオ生成/ベンチマーク2026/8/1arXiv:2608.13049

H2R-Bench: ワールドモデルにおける人間からロボットへの操作ビデオ生成のベンチマーク

H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models

人間の操作ビデオをロボットの操作ビデオに変換するクロスエンボディメント生成の性能を評価するベンチマークを提案し、既存モデルの限界を明らかにした。

詳しい要約

1. どんなもの？

H2R-Benchは、人間の操作ビデオをロボット操作ビデオに変換するクロスエンボディメント（人間からロボットへの）ビデオ生成を評価するためのベンチマークである。各インスタンスは、人間のデモンストレーションビデオ、ターゲットのエンボディメント制約、およびタスク目標、アクションイベント、機能的接触、オブジェクト応答を含むソース接地アノテーションで構成される。生成されたビデオは、目標状態完了、アクションイベント完了、機能的接触転送、エンボディメント正確性、一般的なビデオ品質の5つの次元で評価される。

2. 先行研究と比べてどこがすごい？

先行研究では、ビデオワールドモデルによるロボット中心の操作ビデオ合成の可能性が示唆されているが、クロスエンボディメント転送能力はほとんど調査されていない。H2R-Benchは、このギャップを埋めるために、人間からロボットへの操作ビデオ生成を体系的に評価する最初のベンチマークを提供する。

3. 技術・手法の肝は？

H2R-Benchは、人間のデモンストレーションビデオとターゲットのエンボディメント制約を入力とし、指定されたエンボディメントに従ったロボット操作ビデオを生成するタスクを定義する。評価は、目標状態完了、アクションイベント完了、機能的接触転送、エンボディメント正確性、一般的なビデオ品質の5つの次元で行われる。

4. どうやって有効だと検証した？

H2R-Benchは、6つの操作ファミリーと2つのロボットエンボディメントにわたって、11の最先端ビデオ生成モデルをベンチマークした。評価の結果、現在のビデオワールドモデルは人間からロボットへの操作転送において限定的であり、主要なモデルでもエンボディメントの一貫性、機能的相互作用、タスク実行に失敗することが多いことが明らかになった。

5. 議論はある？

要旨からは、現在のビデオワールドモデルが人間とロボットのエンボディメントギャップを橋渡しするには不十分であることが示唆される。H2R-Benchは、このギャップを埋めるための体系的な診断フレームワークを提供するが、具体的な議論や限界については要旨からは不明である。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていないが、ビデオ生成モデルやワールドモデルに関する研究が関連する。具体的には、ビデオ生成のための拡散モデルや、ロボット学習のためのシミュレーションデータ生成に関する研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dingyi Rong, Yue Shi, Chaofan Ma, Jiezhang Cao, Zongrui Wang, Zeyu Zhang, Yao Mu, Guangtao Zhai, Ning Liu

分類: cs.RO, cs.CV

原文アブストラクト

Large-scale manipulation data is essential for robot learning, yet collecting robot demonstrations remains expensive and difficult to scale. Meanwhile, abundant egocentric human manipulation videos provide rich behavioral experiences, but transferring them across embodiments remains challenging due to differences between human hands and robotic end-effectors. Recent advances in video world models offer a promising pathway to synthesize robot-centric manipulation videos from human observations, while their cross-embodiment transfer capability remains largely unexplored. Therefore, we introduce H2R-Bench, a benchmark for evaluating cross-embodiment human-to-robot manipulation video generation, where models transform egocentric human demonstrations into robot manipulation videos under specified embodiments. Each benchmark instance contains a human demonstration video, target embodiment constraints, and source-grounded annotations covering task goals, action events, functional contacts, and object responses. H2R-Bench evaluates generated videos through five dimensions, including goal-state completion, action-event completion, functional contact transfer, embodiment correctness, and general video quality. We benchmark eleven state-of-the-art video generation models across six manipulation families and two robot embodiments. Our evaluation reveals that current video world models remain limited in human-to-robot manipulation transfer: even leading models often fail in embodiment consistency, functional interaction, and task execution. H2R-Bench provides a systematic diagnostic framework for evaluating whether video world models can bridge the human-to-robot embodiment gap and convert human manipulation observations into robot-centric training resources.

arXivで原文を読む →arXiv概要ページ

← 論文一覧