日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.05693

HiMoE-VLA:汎用視覚言語行動ポリシーのための階層的Mixture-of-Experts

HiMoE-VLA: Hierarchical Mixture-of-Experts for Generalist Vision-Language-Action Policies

シェア:XThreadsFacebookLINEはてブBluesky

異なるロボットの実演データを混ぜて学習する際の負の転移を防ぐため、行動空間ごとに特化する階層的MoE行動モジュールを提案し、CALVINやLIBERO、実機タスクで高い性能を達成した。

詳しい要約

1. どんなもの?

- 汎用 VLA (vision-language-action) policy のためのフレームワーク HiMoE-VLA を提案 - 異なる embodiment・action space・観測設定が混在する heterogeneous な robot demonstrations を扱う - 中核は Hierarchical Mixture-of-Experts (HiMoE) action module - 入力/出力境界の Action-Space MoE、隣接層の Heterogeneity-Balancing MoE、中間の dense Transformer blocks から成る - code と models は GitHub で公開

2. 先行研究と比べてどこがすごい?

- 従来は heterogeneous なデータを shared dense action module で学習し、negative transfer が生じ得た - HiMoE-VLA は action space や visual observation の違いに応じて計算を特化・分離する - 制御された heterogeneous co-training で、強い baseline の negative transfer を positive transfer に転換 - CALVIN 3.98、LIBERO 98.0%、real xArm7 75.0%、ALOHA 63.7% の平均成功率を報告

3. 技術・手法の肝は?

- Action-Space MoE layers を入力/出力境界に置き、異なる action space 向けに計算を特化 - Heterogeneity-Balancing MoE layers を隣接層に置き、観測・scene・embodiment の残差変動にバランスの取れた容量を提供 - 中間は dense Transformer blocks で共有表現を統合 - 補助目的として Action-Space Regularization (contrastive) で境界特化を誘導 - load-balancing objective で expert utilization を安定化

4. どうやって有効だと検証した?

- CALVIN で 3.98、LIBERO で 98.0% を達成 - real xArm7 で平均成功率 75.0%、ALOHA で 63.7% を報告 - 制御された heterogeneous co-training 実験で negative transfer が positive transfer に変わることを確認 - 具体的な ablation や評価プロトコルの詳細は要旨からは不明

5. 議論はある?

- heterogeneous データにおける negative transfer を階層的 MoE で緩和する設計思想が中心 - Action-Space MoE と Heterogeneity-Balancing MoE の役割分担、dense 中間層とのバランスが論点 - 補助損失 (contrastive regularization, load-balancing) の寄与や expert 利用率の安定性は要旨からは不明 - 実機 xArm7/ALOHA での結果は示されるが、限界や失敗事例の議論は要旨からは不明

6. 次に読むべき論文は?

- Mixture-of-Experts (MoE) を用いた VLA / robot policy の関連研究 - 異種ロボットデータの co-training における negative transfer を扱う研究 - CALVIN、LIBERO ベンチマークの代表的 VLA 手法 - load-balancing や contrastive regularization を用いた MoE 学習の基礎研究 - 要旨で具体的に参照/比較されている個別論文は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhiying Du, Bei Liu, Yaobo Liang, Yichao Shen, Haidong Cao, Xiangyu Zheng, Zhiyuan Feng, Zuxuan Wu, Jiaolong Yang, Yu-Gang Jiang

分類: cs.RO, cs.AI

原文アブストラクト

Generalist vision--language--action (VLA) policies are typically trained on heterogeneous mixtures of robot demonstrations spanning diverse embodiments, action spaces, and observation configurations. Modeling such heterogeneity with a shared dense action module can induce negative transfer, particularly when action spaces or visual observations differ across data sources. We address this issue with HiMoE-VLA, a VLA framework built around a Hierarchical Mixture-of-Experts (HiMoE) action module. HiMoE uses Action-Space MoE layers at the input/output boundaries to specialize computation for distinct action spaces, Heterogeneity-Balancing MoE layers in neighboring layers to provide balanced capacity for residual variation in observations, scenes, and embodiments, and dense Transformer blocks in the middle to integrate shared representations. Two auxiliary objectives further guide this hierarchy: a contrastive Action-Space Regularization objective for boundary specialization and a load-balancing objective for stable expert utilization. HiMoE-VLA reaches 3.98 on CALVIN, 98.0\% on LIBERO, and 75.0\% and 63.7\% average success on real xArm7 and ALOHA tasks; under controlled heterogeneous co-training, it turns the negative transfer observed in strong baselines into positive transfer. The code and models are publicly available at https://github.com/ZhiyingDu/HiMoE-VLA.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI