日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データエンジン/ロボット学習arXiv:2606.17385

EgoInfinity: ウェブ規模の4D手と物体のインタラクションデータエンジンによる任意視点ロボット再ターゲティングとビデオから行動へのロボット学習

EgoInfinity: A Web-Scale 4D Hand-Object Interaction Data Engine for Any-View Robot Retargeting and Video-to-Action Robot Learning

シェア:XThreadsFacebookLINEはてブBluesky

インターネット上の人間の操作ビデオを、ロボットの学習に使える4D手と物体のインタラクションデータに自動変換するモジュール式データエンジンを提案。手の軌跡や物体の6-DoF姿勢などを復元し、多様なロボット形態への動作再ターゲティングを可能にする。

詳しい要約

1. どんなもの?

EgoInfinityは、インターネット動画からロボット学習用の4D hand-object interactionデータを生成するweb-scaleなデータエンジン。 - 静的なデータセットではなく、perception, segmentation, reconstruction, interaction-aware refinement, retargetingを統合したモジュラー型エンジン。 - in-the-wildの人間のmanipulation動画を、agent-agnosticでmetricな4D hand-object表現(hand trajectories, 6-DoF object poses, contact-relevant states)へ変換。 - 任意視点・任意ショットサイズ(人体が部分的にしか見えない場合も含む)で、多様なロボット形態へのvideo-to-action retargetingを可能にする。

2. 先行研究と比べてどこがすごい?

従来のlab- or factory-collectedデータセットは規模と多様性が狭く、open-world robot learningを制限していた。 - EgoInfinityは静的データセットではなく、web-scaleなデータ生成を可能にするエンジンとして提案されている。 - 人手によるin-the-loop annotationなしで、video-to-action問題を自動化・スケール化できる点が異なる。 - モジュラー設計により、組み込まれたコンポーネントの進歩を継続的に取り込める。 - 単なるコンポーネント接続ではなく、cross-module metric calibrationとinteraction-aware refinementを組み合わせ、純粋な視覚再構成で生じるdriftやcontact inconsistenciesを低減する。

3. 技術・手法の肝は?

perception, segmentation, reconstruction, interaction-aware refinement, retargetingを統合したモジュラー型エンジン。 - in-the-wild動画をmetricな4D hand-object表現(hand trajectories, 6-DoF object poses, contact-relevant states)へ持ち上げる。 - cross-module metric calibrationとinteraction-aware refinementにより、物理的信頼性を向上。 - 新規のmotion retargeterが、復元された3D hand motionsを多様なロボット形態の実行可能なjoint trajectoriesへコンパイル。 - 任意視点・任意ショットサイズに対応し、人体が部分的にしか見えない場合でもretargeting可能。

4. どうやって有効だと検証した?

perception fidelity, kinematic feasibility, contact consistency, cross-embodiment generalization, real-robot skill acquisitionの観点で検証。 - real-robot skill acquisitionの例としてgrasping, cutting, wiping, pouringを実施。 - これにより、インターネット動画から実行可能なロボット行動へのスケーラブルな橋渡しを実証。 - 具体的な評価指標やデータセット規模は要旨からは不明。

5. 議論はある?

EgoInfinityはopen-world robot learningのためのスケーラブルな橋渡しを目指す。 - 純粋な視覚再構成で一般的なdriftやcontact inconsistenciesの低減を主張。 - モジュラー設計により、コンポーネントの進歩を継続的に取り込める利点を議論。 - 限界や失敗事例、計算コスト、倫理面などの詳細は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている具体的な研究は明示されていない。 - 関連手法として、hand-object interaction reconstruction, 6-DoF object pose estimation, motion retargeting, video-to-action learning, open-world robot learningの定番研究が次に読むべき候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gaotian Wang, Kejia Ren, Andrew Morgan, Yiting Chen, Howard H. Qian, Podshara Chanrungmaneekul, Kaiyu Hang

分類: cs.RO

原文アブストラクト

Internet videos constitute the largest reservoir of embodied human manipulation knowledge, yet converting arbitrary RGB footage into actionable robot training data remains a major bottleneck. Existing lab- or factory-collected datasets are narrow in scale and diversity, limiting open-world robot learning. Instead of proposing a static dataset, we introduce EgoInfinity, a universal 4D hand-object interaction data engine that enables web-scale data generation for robot retargeting and learning. EgoInfinity is a modular engine integrating perception, segmentation, reconstruction, interaction-aware refinement, and retargeting to automate this traditionally unscalable video-to-action problem without human-in-the-loop annotation. Its modular design lets the engine continuously benefit from advances in any incorporated component. With EgoInfinity, in-the-wild human manipulation videos are lifted into agent-agnostic, metric 4D hand-object representations, including hand trajectories, 6-DoF object poses, and contact-relevant states. Rather than naively connecting standalone components, EgoInfinity combines cross-module metric calibration with interaction-aware refinement to improve physical reliability, reducing drift and contact inconsistencies common in pure visual reconstruction. We further propose a novel motion retargeter that compiles the recovered 3D hand motions into executable joint trajectories for diverse robot morphologies, enabling video-to-action retargeting on any robot from arbitrary viewpoints and shot sizes (e.g., the human body is only partially visible). We validate EgoInfinity across perception fidelity, kinematic feasibility, contact consistency, cross-embodiment generalization, and real-robot skill acquisition (e.g., grasping, cutting, wiping, and pouring), demonstrating a scalable bridge from internet videos to executable robot behavior for open-world robot learning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI