日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/エッジ推論/量子化arXiv:2603.03380

LiteVLA-Edge: 組み込みロボティクス向け量子化オンデバイスマルチモーダル制御

LiteVLA-Edge: Quantized On-Device Multimodal Control for Embedded Robotics

シェア:XThreadsFacebookLINEはてブBluesky

Jetson Orin級の組み込みハードウェア上でVLAモデルを完全オンデバイス動作させるための実用的なパイプラインを提案し、量子化とGPU推論により約6.6Hzのリアルタイム制御を実現した。

詳しい要約

1. どんなもの?

- 組み込みロボティクス向けのVLAモデル「LiteVLA-Edge」を提案。 - Jetson Orinクラスのハードウェア上で完全オンデバイス推論を実現するデプロイ指向のパイプライン。 - 知覚・言語条件付け・行動生成を統合し、ROS 2と連携したperception-reasoning-actionパイプラインで動作。 - 平均エンドツーエンドレイテンシ150.5ms(約6.6Hz)を達成し、完全オフラインで動作。

2. 先行研究と比べてどこがすごい?

- 既存のVLAモデルは計算要件と推論レイテンシのため組み込みロボットへの展開が困難。 - 本研究は新しいポリシー目的を導入するのではなく、実用的なシステムパスを提供。 - オンデバイスでコンパクトなマルチモーダル制御モデルを実行し、モジュール式インターフェースを維持。 - リアクティブな言語条件付き制御のタイミング実現可能性を示す再現可能なベースラインを提供。

3. 技術・手法の肝は?

- 教師あり画像から行動へのファインチューニングをFP32で実施。 - 訓練後4-bit GGUF量子化を適用。 - llama.cppランタイムによるGPU加速推論を利用。 - ROS 2統合パイプラインで知覚・推論・行動をモジュール化。

4. どうやって有効だと検証した?

- 展開構成下で平均エンドツーエンドレイテンシ150.5ms(約6.6Hz)を測定。 - 完全オフラインでROS 2統合パイプライン内で動作することを確認。 - タイミング実現可能性を実証し、将来のタスクレベル評価のための再現可能なベースラインを提供。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の関連手法として、VLAモデル(例: RT-2, OpenVLA)、量子化手法(GGUF, 4-bit quantization)、llama.cpp、ROS 2統合ロボティクスが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Justin Williams, Kishor Datta Gupta, Roy George, Mrinmoy Sarkar

分類: cs.RO, cs.AI

原文アブストラクト

Vision-Language-Action (VLA) models provide a unified framework for perception, language conditioning, and action generation, but many existing systems remain difficult to deploy in embedded robotic settings because of their computational requirements and inference latency. In this paper, we present LiteVLA-Edge, a deployment-oriented VLA pipeline for fully on-device inference on Jetson Orin-class hardware. Our approach combines supervised image-to-action fine-tuning in FP32 with post-training 4-bit GGUF quantization and GPU-accelerated inference through the \texttt{llama.cpp} runtime. Under our deployment configuration, LiteVLA-Edge achieves a mean end-to-end latency of 150.5\,ms (approximately 6.6\,Hz) while operating entirely offline within a ROS~2-integrated perception--reasoning--action pipeline. Rather than introducing a new policy objective, our contribution is a practical systems path for executing compact multimodal control models locally on embedded hardware while preserving modular interfaces between perception, reasoning, and actuation. These results establish timing feasibility for reactive language-conditioned control and provide a reproducible baseline for future task-level evaluation of on-device VLAs in robotics.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI