日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2604.07430

HY-Embodied-0.5: 実世界エージェントのための具現化基盤モデル

HY-Embodied-0.5: Embodied Foundation Models for Real-World Agents

シェア:XThreadsFacebookLINEはてブBluesky

実世界の具現化エージェント向けに設計された基盤モデル群を提案し、空間・時間的視覚知覚と推論能力を強化した。

詳しい要約

1. どんなもの?

- 実世界の embodied agent 向けに設計された foundation model 群 HY-Embodied-0.5 - 2B activated parameters の効率モデル(edge deployment 向け)と 32B activated parameters の強力モデルの2 variant - 空間・時間的 visual perception と prediction/interaction/planning の embodied reasoning を強化 - 22 benchmarks で評価し、MoT-2B は同規模 SOTA を16 benchmarks で上回る - 32B は Gemini 3.0 Pro 等 frontier model に匹敵 - 下流の robot control で VLA model を訓練し実世界評価を実施 - code と model は GitHub で open-source 化

2. 先行研究と比べてどこがすごい?

- 汎用 VLM と embodied agent の要求のギャップを埋める点が特徴 - 既存の同規模 SOTA model に対し MoT-2B が16 benchmarks で優位 - 32B variant は Gemini 3.0 Pro など frontier model と comparable な性能 - 単なる VLM ではなく embodied 向けに spatial/temporal visual perception と reasoning を強化 - 大規模 model の能力を小規模 model へ転移する on-policy distillation を採用 - 22 benchmarks という広範な評価で有効性を示す

3. 技術・手法の肝は?

- Mixture-of-Transformers (MoT) architecture を採用し modality-specific computing を実現 - latent tokens を導入し perceptual representation を強化 - iterative, self-evolving post-training paradigm で reasoning 能力を改善 - on-policy distillation により大 model の高度能力を小 model へ転移 - 2B と 32B の activated parameters を持つ2 variant を提供 - 下流で VLA model を訓練し robot control に接続

4. どうやって有効だと検証した?

- 22 benchmarks で visual perception, spatial reasoning, embodied understanding を評価 - MoT-2B が同規模 SOTA を16 benchmarks で上回ることを確認 - 32B variant が Gemini 3.0 Pro 等 frontier model と comparable な性能を達成 - 下流 robot control 実験で VLA model を訓練し実世界 physical evaluation を実施 - 有効性を広範な benchmark と実機評価の両面から検証

5. 議論はある?

- 要旨からは不明(限界や失敗事例、計算コスト、安全性等の議論は明記されていない) - 22 benchmarks と実世界評価の結果が中心で、詳細な ablation や議論は要旨では触れられない - 2B/32B の性能差や distillation の限界についての議論は要旨からは不明

6. 次に読むべき論文は?

- Gemini 3.0 Pro(比較対象の frontier model) - Vision-Language-Action (VLA) model 関連研究 - Mixture-of-Transformers (MoT) 関連研究 - on-policy distillation 関連研究 - 同分野の定番として Vision-Language Models (VLMs) の embodied 応用研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tencent Robotics X, HY Vision Team, :, Xumin Yu, Zuyan Liu, Ziyi Wang, He Zhang, Yongming Rao, Fangfu Liu, Yani Zhang, Ruowen Zhao, Oran Wang, Yves Liang, Haitao Lin, Minghui Wang, Yubo Dong, Kevin Cheng, Bolin Ni, Rui Huang, Han Hu, Zhengyou Zhang, Linus, Shunyu Yao

分類: cs.CV

原文アブストラクト

We introduce HY-Embodied-0.5, a family of foundation models specifically designed for real-world embodied agents. To bridge the gap between general Vision-Language Models (VLMs) and the demands of embodied agents, our models are developed to enhance the core capabilities required by embodied intelligence: spatial and temporal visual perception, alongside advanced embodied reasoning for prediction, interaction, and planning. The HY-Embodied-0.5 suite comprises two primary variants: an efficient model with 2B activated parameters designed for edge deployment, and a powerful model with 32B activated parameters targeted for complex reasoning. To support the fine-grained visual perception essential for embodied tasks, we adopt a Mixture-of-Transformers (MoT) architecture to enable modality-specific computing. By incorporating latent tokens, this design effectively enhances the perceptual representation of the models. To improve reasoning capabilities, we introduce an iterative, self-evolving post-training paradigm. Furthermore, we employ on-policy distillation to transfer the advanced capabilities of the large model to the smaller variant, thereby maximizing the performance potential of the compact model. Extensive evaluations across 22 benchmarks, spanning visual perception, spatial reasoning, and embodied understanding, demonstrate the effectiveness of our approach. Our MoT-2B model outperforms similarly sized state-of-the-art models on 16 benchmarks, while the 32B variant achieves performance comparable to frontier models such as Gemini 3.0 Pro. In downstream robot control experiments, we leverage our robust VLM foundation to train an effective Vision-Language-Action (VLA) model, achieving compelling results in real-world physical evaluations. Code and models are open-sourced at https://github.com/Tencent-Hunyuan/HY-Embodied.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI