日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

システムarXiv:2606.12688

M*: マルチモーダルモデルのためのモジュール式で拡張可能なサービスシステム

M*: A Modular, Extensible, Serving System for Multimodal Models

シェア:XThreadsFacebookLINEはてブBluesky

複合AIモデルを効率的にサービスするための普遍的なシステムM*を提案し、データフローグラフ表現とウォークグラフ抽象化により、多様なモデル構成を柔軟に扱い、既存システムより低遅延・高スループットを達成した。

詳しい要約

1. どんなもの?

- 複合的なマルチモーダルモデルを効率的に提供するための汎用サービングシステム M* を提案。 - モデルを dataflow graph として表現し、リクエストをグラフ上の traversal として処理。 - vision encoder, language backbone, diffusion, flow head, audio codec, action generator, world-model predictor など多様なコンポーネントの統合を想定。 - unified multimodal models, omni models, speech-language models, vision-language-action policies, world models を対象。

2. 先行研究と比べてどこがすごい?

- 既存の serving framework はモデル構造に関する狭い仮定に基づいており、新しいアーキテクチャの多様性に対応しにくい。 - M* は任意のコンポーネント合成、物理クラスタへの柔軟な配置、分散ランタイム内での model-agnostic 最適化を可能にする。 - 代表モデルでの評価で、vLLM-Omni 比で text-to-image の end-to-end latency を平均20%削減。 - text-to-speech では最大2.9倍低い real-time factor と2.7倍高い throughput を達成。 - ロボティックプランニングでは V-JEPA 2-AC rollout baseline を最大12.5倍上回る。

3. 技術・手法の肝は?

- モデルを dataflow graph として表現し、リクエストをグラフ上の traversal として処理する。 - 中核となる抽象化は Walk Graph と呼ばれ、モデルコンポーネントの任意の合成をサポート。 - 物理クラスタへの柔軟な配置と、分散ランタイム内での model-agnostic 最適化を実現。 - 多様なモダリティとタスクにまたがるリクエストを統一的に扱う。

4. どうやって有効だと検証した?

- 代表的なモデル上で M* を実装して評価。 - BAGEL 上の text-to-image ワークロードで vLLM-Omni 比平均20%低い end-to-end latency。 - Qwen3-Omni 上の text-to-speech ワークロードで最大2.9倍低い real-time factor と2.7倍高い throughput。 - ロボティックプランニングで V-JEPA 2-AC rollout baseline を最大12.5倍上回る。

5. 議論はある?

- 要旨からは不明。 - 複合モデルの効率的な serving に向けた道を開くと主張。 - 開発者の労力を最小限に抑えつつ複雑なモデルを提供可能と述べる。

6. 次に読むべき論文は?

- vLLM-Omni - BAGEL - Qwen3-Omni - V-JEPA 2-AC - unified multimodal models, omni models, speech-language models, vision-language-action policies, world models に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Atindra Jha, Naomi Sagan, Keisuke Kamahori, Irmak Sivgin, Rohan Sanda, Steven Gao, Mark Horowitz, Luke Zettlemoyer, Olivia Hsu, Jure Leskovec, Baris Kasikci, Stephanie Wang

分類: cs.LG, cs.AI, cs.DC

原文アブストラクト

We are entering a new era of composite model architectures that integrate diverse components such as vision encoders, language backbones, diffusion and flow heads, audio codecs, action generators, and world-model predictors. Such architectures underpin a broad class of multimodal models, including unified multimodal models, omni models, speech-language models, vision-language-action policies, and world models. However, existing model serving frameworks were built on narrow assumptions about model structure, making them ill-suited to accommodate this new architectural diversity. Here we present M*, a universal serving system for efficient serving of composite AI models. M* represents models as dataflow graphs, processing requests spanning diverse modalities and tasks as traversals over these graphs. The core insight is a modular abstraction that supports arbitrary composition of model components, flexible placement onto a physical cluster, and model-agnostic optimizations within a distributed runtime. We call this abstraction the Walk Graph and show how it can concisely capture composite models from a broad range of families. We instantiate M* on representative models and find that it achieves, on average, 20% lower end-to-end latency than vLLM-Omni for text-to-image workloads on BAGEL, while delivering up to 2.9x lower real-time factor and 2.7x higher throughput for text-to-speech workloads on Qwen3-Omni. M* also outperforms the V-JEPA 2-AC rollout baseline for robotic planning by up to 12.5x. Thus, our work paves the road towards more efficient serving of complex models with minimal developer effort.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI