マニピュレーション2026/3/1arXiv:2603.15265

MoE-ACT: スパースな言語条件付きMixture-of-Experts Transformerによるマルチタスク両腕操作のスケーリング

MoE-ACT: Scaling Multi-Task Bimanual Manipulation with Sparse Language-Conditioned Mixture-of-Experts Transformers

両腕操作のマルチタスク模倣学習において、TransformerエンコーダにスパースMoEを統合し、タスク間の干渉を軽減する軽量フレームワークMoE-ACTを提案した。シミュレーションと実機で性能を検証し、マルチタスク性能を大幅に向上させた。

詳しい要約

1. どんなもの？

- 両腕マニピュレーション向けの軽量なマルチタスク模倣学習フレームワーク - Mixture-of-Experts-Enhanced Action Chunking Transformer (MoE-ACT) を提案 - ACT の Transformer encoder に sparse Mixture-of-Experts (MoE) モジュールを統合 - 言語条件付きの視覚中心アクション生成システムへ拡張 - 実世界の家庭・産業応用における embodied intelligence の展開を狙う

2. 先行研究と比べてどこがすごい？

- 従来の汎用ロボットポリシーはタスク間の out-of-distribution 変動で task interference と negative transfer が深刻 - MoE-ACT は統一ポリシーを独立に呼び出される expert コンポーネントへ分解 - 適応的活性化により潜在空間でマルチタスク行動分布を自然に分離 - vanilla ACT と比較して成功率が平均 33% 向上 - 複雑なマルチタスク両腕操作環境でより強い robustness と generalization を示す

3. 技術・手法の肝は？

- Transformer encoder に sparse MoE 層を組み込み、統一タスクポリシーを expert に分解 - 適応的活性化でマルチタスク行動分布を潜在空間で decouple - デコード時に Feature-wise Linear Modulation (FiLM) で action token を動的変調し、行動生成とタスク指示の一貫性を向上 - multi-scale cross-attention で低レベル・高レベルの意味特徴に同時に注目し、豊富な視覚情報を提供 - テキスト情報を組み込み、純粋な視覚ベースから視覚中心の言語条件付き行動生成へ移行

4. どうやって有効だと検証した？

- シミュレーションと実世界の dual-arm セットアップの両方で実験検証 - MoE-ACT が vanilla ACT を成功率で平均 33% 上回ることを示す - 複雑なマルチタスク両腕操作環境での robustness と generalization の向上を確認 - オープンソースプロジェクトページ: https://j3k7.github.io/MoE-ACT/

5. 議論はある？

- タスク間の out-of-distribution 変動による task interference と negative transfer が課題と指摘 - MoE による expert 分解と適応的活性化がマルチタスク性能を大幅改善することを主張 - シミュレーションと実機の両方で有効性を示すが、詳細な限界や失敗事例は要旨からは不明 - 今後の課題や制約についての具体的議論は要旨からは不明

6. 次に読むべき論文は？

- Action Chunking Transformer (ACT) - Mixture-of-Experts (MoE) - Feature-wise Linear Modulation (FiLM) - multi-scale cross-attention - 言語条件付き模倣学習 (language-conditioned imitation learning)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kangjun Guo, Haichao Liu, Yanji Sun, Ruhan Zhao, Jinni Zhou, Jun Ma

分類: cs.RO

原文アブストラクト

The ability of robots to handle multiple tasks under a unified policy is critical for deploying embodied intelligence in real-world household and industrial applications. However, out-of-distribution variation across tasks often causes severe task interference and negative transfer when training general robotic policies. To address this challenge, we propose a lightweight multi-task imitation learning framework for bimanual manipulation, termed Mixture-of-Experts-Enhanced Action Chunking Transformer (MoE-ACT), which integrates sparse Mixture-of-Experts (MoE) modules into the Transformer encoder of ACT. The MoE layer decomposes a unified task policy into independently invoked expert components. Through adaptive activation, it naturally decouples multi-task action distributions in latent space. During decoding, Feature-wise Linear Modulation (FiLM) dynamically modulates action tokens to improve consistency between action generation and task instructions. In parallel, multi-scale cross-attention enables the policy to simultaneously focus on both low-level and high-level semantic features, providing rich visual information for robotic manipulation. We further incorporate textual information, transitioning the framework from a purely vision-based model to a vision-centric, language-conditioned action generation system. Experimental validation in both simulation and a real-world dual-arm setup shows that MoE-ACT substantially improves multi-task performance. Specifically, MoE-ACT outperforms vanilla ACT by an average of 33% in success rate. These results indicate that MoE-ACT provides stronger robustness and generalization in complex multi-task bimanual manipulation environments. Our open-source project page can be found at https://j3k7.github.io/MoE-ACT/.

arXivで原文を読む →arXiv概要ページ

MoE-ACT: スパースな言語条件付きMixture-of-Experts Transformerによるマルチタスク両腕操作のスケーリング

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

OZ GAMING（GPU搭載BTOゲーミングPC）

双腕モバイルマニピュレーター OpenShell