全身操作/VLA2026/4/1arXiv:2604.07993

HEX: 人間型アライメント専門家によるクロスエンボディ全身操作

HEX: Humanoid-Aligned Experts for Cross-Embodiment Whole-Body Manipulation

全身協調操作を実現するため、人間型ロボットに特化した状態中心フレームワークHEXを提案。多様な身体構造に適用可能な状態表現と、全身協調と時間的運動ダイナミクスをモデル化する専門家混合機構を導入し、実機での操作成功率と汎化性能を向上させた。

詳しい要約

1. どんなもの？

- フルサイズ二足歩行ヒューマノイドロボットの全身協調マニピュレーションのための状態中心フレームワークHEXを提案。 - 異種エンボディメント間でスケーラブルな学習を可能にするhumanoid-aligned universal state representationを導入。 - Mixture-of-Experts Unified Proprioceptive Predictorで全身協調と時間的運動ダイナミクスをモデル化。 - 軽量history tokensで過去の視覚文脈を要約し、推論時の履歴画像再エンコードを回避。 - residual-gated fusion mechanismとflow-matching action headで視覚言語手がかりと固有受容ダイナミクスを適応統合。

2. 先行研究と比べてどこがすごい？

- 従来のVLAモデルはロボット身体部位をほぼ独立に扱い、高DoFヒューマノイド制御が困難で不安定だった。 - HEXは全身協調を明示的にモデル化し、異種エンボディメント間のスケーラブル学習を実現。 - 実世界ヒューマノイド操作タスクで成功率と汎化性能がstate-of-the-artを達成。 - 特にfast-reactionおよびlong-horizonシナリオで優位。

3. 技術・手法の肝は？

- humanoid-aligned universal state representationで異種エンボディメントを統一的に表現。 - Mixture-of-Experts Unified Proprioceptive Predictorが大規模マルチエンボディメント軌道データから全身協調と時間運動ダイナミクスを学習。 - 軽量history tokensで過去観測を要約し、推論時の履歴画像再エンコードを回避。 - residual-gated fusion mechanismとflow-matching action headで視覚言語手がかりと固有受容ダイナミクスを適応融合し行動生成。

4. どうやって有効だと検証した？

- 実世界ヒューマノイド操作タスクで実験を実施。 - タスク成功率と汎化性能でstate-of-the-artを達成。 - 特にfast-reactionおよびlong-horizonシナリオで有効性を確認。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- Vision-Language-Action (VLA) モデル - Mixture-of-Experts - flow-matching action head - ヒューマノイド全身操作に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuanghao Bai, Meng Li, Xinyuan Lv, Jiawei Wang, Xinhua Wang, Fei Liao, Chengkai Hou, Langzhe Gu, Wanqi Zhou, Kun Wu, Ziluo Ding, Zhiyuan Xu, Lei Sun, Shanghang Zhang, Zhengping Che, Jian Tang, Badong Chen

分類: cs.RO

原文アブストラクト

Humans achieve complex manipulation through coordinated whole-body control, whereas most Vision-Language-Action (VLA) models treat robot body parts largely independently, making high-DoF humanoid control challenging and often unstable. We present HEX, a state-centric framework for coordinated manipulation on full-sized bipedal humanoid robots. HEX introduces a humanoid-aligned universal state representation for scalable learning across heterogeneous embodiments, and incorporates a Mixture-of-Experts Unified Proprioceptive Predictor to model whole-body coordination and temporal motion dynamics from large-scale multi-embodiment trajectory data. To efficiently capture temporal visual context, HEX uses lightweight history tokens to summarize past observations, avoiding repeated encoding of historical images during inference. It further employs a residual-gated fusion mechanism with a flow-matching action head to adaptively integrate visual-language cues with proprioceptive dynamics for action generation. Experiments on real-world humanoid manipulation tasks show that HEX achieves state-of-the-art performance in task success rate and generalization, particularly in fast-reaction and long-horizon scenarios.

arXivで原文を読む →arXiv概要ページ

← 論文一覧