ヒューマノイド/模倣学習/世界モデル2026/4/1arXiv:2604.19734

UniT: 人間からヒューマノイドへのポリシー学習と世界モデリングのための統一物理言語に向けて

UniT: Toward a Unified Physical Language for Human-to-Humanoid Policy Learning and World Modeling

人間の映像データを活用してヒューマノイドロボットの学習を行うため、視覚的アンカリングに基づく統一潜在アクショントークナイザー（UniT）を提案し、異なる身体構造間のギャップを埋める。

詳しい要約

1. どんなもの？

- 人間のegocentricデータをhumanoidへ転移するための統一物理言語を構築する枠組みUniTを提案。 - 三枝のcross-reconstructionにより、kinematicsを視覚的結果にanchorし、embodiment非依存の離散latent spaceを学習。 - Policy Learning (VLA-UniT)とWorld Modeling (WM-UniT)の二 paradigmで検証。

2. 先行研究と比べてどこがすごい？

- 従来はhumanoid foundation modelのscalingがrobotic data不足で制約され、egocentric human data活用にはkinematic mismatchが障壁。 - UniTは異種kinematicsが普遍的視覚結果を共有するという着想でcross-embodiment gapを橋渡し。 - 要旨では具体的な先行研究名や比較数値は示されず、SOTA data efficiencyとOOD汎化、zero-shot転移を主張。

3. 技術・手法の肝は？

- tri-branch cross-reconstruction mechanismを採用。 - actionsがvisionを予測しkinematicsを物理的結果にanchor。 - visionがactionsを再構成し無関係な視覚confounderを除去。 - fusion branchが精製されたmodalitiesを統合し、embodiment-agnostic physical intentsの共有離散latent spaceを形成。

4. どうやって有効だと検証した？

- Policy Learning (VLA-UniT): 統一token予測により多様なhuman dataを活用し、humanoid simulation benchmarkとreal-world deploymentでSOTA data efficiencyとOOD汎化、zero-shot task transferを実証。 - World Modeling (WM-UniT): 統一tokenを条件にcross-embodiment dynamicsをalignし、human-to-humanoid action transferを実現。human dataがhumanoid video generationのaction controllabilityを向上。 - t-SNE可視化でhumanとhumanoid特徴が共有manifoldに収束することを経験的に確認。

5. 議論はある？

- 要旨では限界や失敗例、計算コスト、データ依存性などの議論は明示されず、主に有効性とscalable pathの主張。 - 具体的な議論の有無は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている個別研究は明示されていない。 - 関連手法としてVLA (Vision-Language-Action) models、humanoid foundation models、egocentric human data、cross-embodiment transfer、world models、t-SNEなどが挙げられる。 - 同分野の定番としてhuman-to-humanoid policy learningやvideo generationベースのworld modelingに関する研究を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Boyu Chen, Yi Chen, Lu Qiu, Jerry Bai, Yuying Ge, Yixiao Ge

分類: cs.RO, cs.AI

原文アブストラクト

Scaling humanoid foundation models is bottlenecked by the scarcity of robotic data. While massive egocentric human data offers a scalable alternative, bridging the cross-embodiment chasm remains a fundamental challenge due to kinematic mismatches. We introduce UniT (Unified Latent Action Tokenizer via Visual Anchoring), a framework that establishes a unified physical language for human-to-humanoid transfer. Grounded in the philosophy that heterogeneous kinematics share universal visual consequences, UniT employs a tri-branch cross-reconstruction mechanism: actions predict vision to anchor kinematics to physical outcomes, while vision reconstructs actions to filter out irrelevant visual confounders. Concurrently, a fusion branch synergies these purified modalities into a shared discrete latent space of embodiment-agnostic physical intents. We validate UniT across two paradigms: 1) Policy Learning (VLA-UniT): By predicting these unified tokens, it effectively leverages diverse human data to achieve state-of-the-art data efficiency and robust out-of-distribution (OOD) generalization on both humanoid simulation benchmark and real-world deployments, notably demonstrating zero-shot task transfer. 2) World Modeling (WM-UniT): By aligning cross-embodiment dynamics via unified tokens as conditions, it realizes direct human-to-humanoid action transfer. This alignment ensures that human data seamlessly translates into enhanced action controllability for humanoid video generation. Ultimately, by inducing a highly aligned cross-embodiment representation (empirically verified by t-SNE visualizations revealing the convergence of human and humanoid features into a shared manifold), UniT offers a scalable path to distill vast human knowledge into general-purpose humanoid capabilities.

arXivで原文を読む →arXiv概要ページ

← 論文一覧