日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.16278

DriveMoE:自動運転のためのVision-Language-ActionモデルにおけるMixture-of-Experts

DriveMoE: Mixture-of-Experts for Vision-Language-Action Model in End-to-End Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

自動運転向けVLAモデルに視覚と行動のMixture-of-Expertsを導入し、状況に応じたカメラ選択と運転行動の専門化を実現してSOTA性能を達成した。

詳しい要約

1. どんなもの?

- どんなもの? - 自動運転の end-to-end autonomous driving (E2E-AD) 向けに提案された Mixture-of-Experts (MoE) ベースのフレームワーク DriveMoE - 構成要素は Scene-Specialized Vision MoE と Skill-Specialized Action MoE の2つ - ベースは embodied AI 由来の Vision-Language-Action (VLA) モデルで、Drive-π0 と呼ぶベースライン - 多視点センサデータ処理と多様・複雑な運転シナリオ(aggressive turns など希少操作)への対応を狙う

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 既存の E2E-AD モデルは多様なシナリオで modes averaging を起こしうると指摘 - LLM における MoE の成功に着想を得て、パラメータの特化によるスケーラビリティを自動運転に持ち込む - Vision MoE により全カメラを均等処理せず、運転文脈に応じて関連カメラを動的に選択 - Action MoE により運転行動ごとに特化した expert を活性化し、明示的な行動特化を実現 - Bench2Drive closed-loop 評価で state-of-the-art (SOTA) を達成したと報告

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - Drive-π0 をベースに、Vision MoE と Action MoE を追加した構成 - Vision MoE: router を学習し、driving context に応じて関連するカメラを動的に選択 - 人間の運転認知(重要な視覚手がかりへ選択的に注意)を模した設計 - Action MoE: 別の router を学習し、異なる運転行動向けの expert module を活性化 - 行動ごとの特化により、多様なシナリオを modes averaging なしで扱うことを狙う

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - Bench2Drive closed-loop 評価実験を実施 - DriveMoE が state-of-the-art (SOTA) 性能を達成したと報告 - これにより vision MoE と action MoE の組み合わせの有効性を示すと主張 - 具体的な比較手法・指標・数値は要旨からは不明

5. 議論はある?

- 議論はある? - 要旨では modes averaging を既存モデルの課題として挙げ、DriveMoE の行動特化がその解決策になると主張 - Vision MoE によるカメラ選択が人間の運転認知に対応するという設計思想を提示 - ただし定量的な限界・失敗事例・計算コスト・router の学習安定性などは要旨からは不明 - コードとモデル(DriveMoE および Drive-π0)を公開予定と記載

6. 次に読むべき論文は?

- 次に読むべき論文は? - Drive-π0 の元となった π0 Vision-Language-Action (VLA) モデル - LLM における Mixture-of-Experts (MoE) アーキテクチャの代表的研究 - Bench2Drive closed-loop ベンチマークに関する研究 - E2E-AD における Vision-Language-Action モデルの関連研究 - 要旨で個別論文名の参照はないため、上記は関連手法・ベースライン名からの一般名の提示

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenjie Yang, Yilin Chai, Xiaosong Jia, Qifeng Li, Yuqian Shao, Xuekai Zhu, Haisheng Su, Junchi Yan

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

End-to-end autonomous driving (E2E-AD) demands effective processing of multi-view sensory data and robust handling of diverse and complex driving scenarios, particularly rare maneuvers such as aggressive turns. Recent success of Mixture-of-Experts (MoE) architecture in Large Language Models (LLMs) demonstrates that specialization of parameters enables strong scalability. In this work, we propose DriveMoE, a novel MoE-based E2E-AD framework, with a Scene-Specialized Vision MoE and a Skill-Specialized Action MoE. DriveMoE is built upon our $\pi_0$ Vision-Language-Action (VLA) baseline (originally from the embodied AI field), called Drive-$\pi_0$. Specifically, we add Vision MoE to Drive-$\pi_0$ by training a router to select relevant cameras according to the driving context dynamically. This design mirrors human driving cognition, where drivers selectively attend to crucial visual cues rather than exhaustively processing all visual information. In addition, we add Action MoE by training another router to activate specialized expert modules for different driving behaviors. Through explicit behavioral specialization, DriveMoE is able to handle diverse scenarios without suffering from modes averaging like existing models. In Bench2Drive closed-loop evaluation experiments, DriveMoE achieves state-of-the-art (SOTA) performance, demonstrating the effectiveness of combining vision and action MoE in autonomous driving tasks. We will release our code and models of DriveMoE and Drive-$\pi_0$.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI