日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2606.15869

Metis: 自動運転と都市ナビゲーションのための汎用かつ効率的なワールドアクションモデル

Metis: A Generalizable and Efficient World-Action Model for Autonomous Driving and Urban Navigation

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ生成と行動予測を分離したエンドツーエンドのワールドアクションモデルを提案し、推論時のビデオ生成を省略することで効率化しつつ、汎用性と性能を向上させた。

詳しい要約

1. どんなもの?

- 自動運転と都市ナビゲーションのためのWorld-Action Model (WAM) フレームワーク「Metis」を提案。 - ビデオ生成と行動予測を分離したend-to-endモデル。 - Mixture-of-Transformersアーキテクチャを採用し、各タスクに専用のexpertを割り当てる。 - 非対称attention maskにより、訓練時は両expertをjoint trainingし、推論時は行動モデルがビデオ生成をバイパス可能。 - 推論遅延を削減し、計算コストを大幅に低減。

2. 先行研究と比べてどこがすごい?

- 既存のWAMはVision-Language-Actionモデルやビデオ生成モデルに基づき、テスト時に将来観測予測を行うため推論遅延が高い。 - また、ビデオと行動のモデリングが密結合で、表現のミスマッチと汎化性能の低下を招く。 - Metisはこれら2つの問題を解決し、ビデオ生成と行動予測を分離することで、各タスクの分布特性を保持。 - 推論時にビデオ生成をバイパスすることで、訓練と推論の一貫性を確保しつつ計算コストを削減。 - 複数ベンチマークでstate-of-the-art性能を達成。

3. 技術・手法の肝は?

- Mixture-of-Transformersアーキテクチャを採用し、ビデオ生成と行動予測に専用のexpertを配置。 - 非対称attention maskを導入し、訓練時には両expertをjoint training。 - 推論時には行動モデルが明示的なビデオ生成をバイパスできるように設計。 - これにより訓練と推論の一貫性を保ち、計算コストを大幅に削減。 - ビデオ生成と行動予測を分離することで、表現のミスマッチを回避し汎化性能を向上。

4. どうやって有効だと検証した?

- NAVSIMのnavhardおよびnavtestベンチマーク、CityWalkerナビゲーションベンチマークで広範な実験を実施。 - これらのベンチマークでstate-of-the-art性能を達成し、多様なタスクにおける汎化性と効率性を検証。 - 実ロボット展開により、アプローチの実用性を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法: Vision-Language-Action models, video generation models, Mixture-of-Transformers。 - 同分野の定番: NAVSIM, CityWalkerベンチマーク。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jingyu Li, Zhe Liu, Dongnan Hu, Junjie Wu, Zipei Ma, Wenxiao Wu, Chao Han, Zhihui Hao, Zhikang Liu, Kun Zhan, Jiankang Deng, Xiatian Zhu, Li Zhang

分類: cs.CV

原文アブストラクト

World action models~(WAMs) have shown great promise for autonomous driving and urban navigation. Built upon Vision-Language-Action models or video generation models, existing approaches suffer key limitations: (1) High inference latency due to future observation prediction at test time, and (2) tightly coupled video and action modeling leading to representational mismatch and degraded generalization. To address both issues, we propose Metis, an end-to-end WAM framework that decouples video generation and action prediction. Specifically, Metis employs a Mixture-of-Transformers architecture with dedicated experts for video generation and action prediction, preserving the intrinsic distributional properties of each task. To enhance efficiency, we introduce an asymmetric attention mask that enables joint training of both experts while allowing the action model to bypass explicit video generation during inference. This design ensures training-inference consistency and significantly reduces computational costs without compromising planning performance. Extensive experiments demonstrate state-of-the-art performance on the NAVSIM navhard and navtest benchmarks and the CityWalker navigation benchmark, validating both the generalizability and efficiency across diverse tasks. Real-robot deployments further confirm the practical feasibility of our approach.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI