日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/推論ランタイムarXiv:2607.02501

Embodied.cpp: 異種ロボット向け具現化AIモデルのポータブル推論ランタイム

Embodied.cpp: A Portable Inference Runtime of Embodied AI Models on Heterogeneous Robots

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルや世界行動モデルなどの具現化AIモデルを、異なるロボットやエッジデバイス上で効率的に実行するためのC++推論ランタイムを提案。モジュール化された5層構造により、多レート実行や低遅延推論を実現し、Pythonベースラインと比較して1.05〜2.70倍の高速化とVRAM削減を達成した。

詳しい要約

1. どんなもの?

Embodied.cppは、多様なロボット上でEmbodied AIモデル(VLAモデルとWAMs)を展開するためのポータブルなC++推論ランタイムである。モデル固有のPythonスタックやバックエンドの断片化を解消し、異種エッジデバイス上での実用的な展開を可能にする。

2. 先行研究と比べてどこがすごい?

既存の推論ランタイムは主にリクエスト・レスポンス型のサービスに設計されており、閉ループ制御内でのマルチレート実行、異種ハードウェア上でのレイテンシ優先のbatch-1推論、固定トークンI/Oを超えた拡張可能なEmbodiedインターフェースといった、Embodied展開のランタイム契約を満たさない。Embodied.cppはこれらの要件を満たす点で優れている。

3. 技術・手法の肝は?

代表的なVLAモデルとWAMsのアーキテクチャ分析に基づき、共有実行パスを抽出し、5つのレイヤー(入力アダプタ、シーケンスビルダー、バックボーン実行、ヘッドプラグイン、展開アダプタ)に整理する。モジュール式のマルチレート実行、レイテンシ優先の融合推論、拡張可能なオペレータとI/Oサポートを提供し、単一のバックエンド抽象化を通じて異種デバイス、ロボット、シミュレータへの展開を可能にする。

4. どうやって有効だと検証した?

3つのVLAモデルと2つのWAMモデルを用いて、PythonおよびC++量子化構成での正規化比較により評価した。その結果、Pythonベースラインと比較して1.05倍から2.70倍の推論高速化、7%から77%のVRAM削減を達成し、ほとんどの構成でベースラインに近い成功率を維持した。

5. 議論はある?

要旨からは、特定の議論や制限は明示されていない。ただし、成功率が一部の構成でベースラインを下回る可能性が示唆されており、量子化やモデルアーキテクチャの違いによる影響が考えられる。詳細は不明。

6. 次に読むべき論文は?

要旨で参照されている先行研究や関連手法は明示されていないが、同分野の定番として、VLAモデル(例:RT-2、OpenVLA)やWAMs(例:World Models)の論文、および推論ランタイム(例:ONNX Runtime、TensorRT)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ling Xu, Borui Li, Hao Wu, Chuyu Han, Xiangyu Li, Mohan Hua, Shiqi Jiang, Ting Cao, Chuanyou Li, Sheng Zhong, Shuai Wang

分類: cs.RO, cs.CV, cs.OS

原文アブストラクト

Embodied AI models now span vision-language-action (VLA) models and world-action models (WAMs), but practical deployment remains fragmented across model-specific Python stacks, backend assumptions, and robot-side glue code, especially on heterogeneous edge devices. Existing inference runtimes are designed mainly for request-response serving and therefore do not satisfy the runtime contract of embodied deployment: multi-rate execution inside closed-loop control, latency-first batch-1 inference on heterogeneous hardware, and extensible embodied interfaces beyond fixed token I/O. We present Embodied$.$cpp, a portable C++ inference runtime for embodied models. Based on an architectural analysis of representative VLA models and WAMs, Embodied$.$cpp captures a shared execution path and organizes it into five layers: input adapters, sequence builders, backbone execution, head plugins, and deployment adapters. The runtime provides modular multi-rate execution, latency-first fused inference, and extensible operator and I/O support, enabling deployment across heterogeneous devices, robots, and simulators through one backend abstraction. We evaluate Embodied$.$cpp on three VLA and two WAM models, using normalized comparisons across Python and C++ quantization configurations. Overall, Embodied$.$cpp achieves 1.05x-2.70x inference speedups and 7\%-77\% lower VRAM relative to Python baselines, while maintaining near-baseline success for most configurations. These results show that Embodied$.$cpp improves deployment efficiency while preserving high control quality across diverse embodied model architectures. Project Link: https://github.com/SEU-PAISys/Embodied.cpp

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI