ROSA: ロボット工場向けロボティクス基盤モデル配信システム

ROSAは、ロボット工場向けのRobotics Foundation Model (RFM) のためのサービス提供システムである。従来の単一ロボット・単一モデル前提のエッジコンピューティング型推論とは異なり、共有GPUプールを介してロボット群が高性能なサーバー級GPUにネットワーク経由でアクセスできるようにする。ロボット認識型のプログラミング抽象化とシステム設計を提供し、マルチモデルパイプライン、タスクごとの性能要件、障害処理をサポートする。また、工場の目的に基づくスケジューリングにより、個々のリクエストのレイテンシ最小化ではなく、SLOを満たす工場生産性を最大化する。

既存のRFMサービスシステムは、単一ロボット・単一モデルを前提とし、推論をエッジコンピューティング問題として扱い、オンボードまたは専用の近接GPUで処理し、単一アクションモデルのレイテンシ最小化を目的としていた。ROSAは、共有GPUプールサービスを採用し、ロボット群がネットワーク経由でサーバー級GPUを利用することで、推論性能、バッテリ持続時間、GPU利用率を向上させる。また、マルチモデルパイプラインや工場レベルの生産性最適化など、工場環境特有の要件に対応する点が新しい。

ROSAの技術の肝は、3つの原則にある。1) 共有GPUプールサービス：ロボット群がネットワーク経由でサーバー級GPUにアクセスし、推論性能とGPU利用率を向上させる。2) ロボット認識型のプログラミング抽象化とシステム設計：マルチモデルパイプライン、タスクごとの性能要件、障害処理をサポートする。3) 工場目的駆動のスケジューリング：個々のリクエストのレイテンシではなく、SLOを満たす工場生産性を最大化する。実装はRay Serve上で分散オーケストレーションを行い、vLLM、PyTorch、JAXをモデルサービングバックエンドとして使用する。

実ロボットと合成大規模ワークロードの両方で評価した。従来の専用サービスシステムと比較して、工場生産性を最大12.06倍向上させたことを示した。

要旨からは、共有GPUプールのネットワーク遅延の影響や、スケジューリングの複雑さ、障害処理の詳細などについての議論は不明である。また、実ロボットでの評価規模や合成ワークロードの現実性についても要旨からは不明。

要旨で参照されている関連研究として、RFMサービスシステム、エッジコンピューティング、GPU共有、モデルサービングシステム（vLLMなど）、分散オーケストレーション（Ray Serve）などが挙げられる。具体的な論文名は要旨にないため、同分野の定番として、"NVIDIA Isaac ROS"や"Roboflow"などのロボット向け推論システム、"Serving Large Language Models"に関する論文（vLLMの論文など）が考えられる。