日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.14921

エッジ上の視覚言語モデルによるリアルタイムロボット知覚

Vision-Language Models on the Edge for Real-Time Robotic Perception

シェア:XThreadsFacebookLINEはてブBluesky

ヒューマノイドロボットUnitree G1を題材に、WebRTCでマルチモーダルデータをエッジノードへ送り、VLMをエッジとクラウドで動かして精度と遅延を比較した。

詳しい要約

1. どんなもの?

- 本研究は、Vision-Language Models (VLMs) をロボティクス知覚に応用する際の課題(遅延、オンボード資源制約、クラウドオフロードのプライバシーリスク)に対処するため、6GのEdge intelligence、特にOpen RANとMulti-access Edge Computing (MEC) を活用した展開を検討する。 - Unitree G1 humanoid robotをembodied testbedとして使用し、WebRTCベースのパイプラインでマルチモーダルデータをエッジノードにストリーミングする。 - LLaMA-3.2-11B-Vision-Instructをエッジとクラウドで比較評価し、Qwen2-VL-2B-Instructも評価する。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べて、エッジ展開がクラウドと同等の精度を維持しつつ、エンドツーエンド遅延を5%削減することを示した点がすごい。 - また、リソース制約環境向けのコンパクトモデルQwen2-VL-2B-Instructがサブ秒応答を実現し、遅延を半分以上削減するが精度が犠牲になることを明らかにした。 - 具体的な先行研究との比較は要旨からは不明。

3. 技術・手法の肝は?

- 技術の肝は、WebRTCベースのパイプラインでマルチモーダルデータをエッジノードにストリーミングし、ORAN/MECインフラ上でVLMsを展開する点。 - LLaMA-3.2-11B-Vision-Instructをエッジとクラウドで比較し、Qwen2-VL-2B-Instructをリソース制約環境向けに評価する。 - Unitree G1 humanoid robotをembodied testbedとして使用。

4. どうやって有効だと検証した?

- 有効性は、Unitree G1 humanoid robotを用いた実時間条件下での実験で検証。 - LLaMA-3.2-11B-Vision-Instructのエッジ展開とクラウド展開を比較し、エンドツーエンド遅延と精度を評価。 - Qwen2-VL-2B-Instructの応答時間と精度も評価。

5. 議論はある?

- エッジ展開はクラウドと同等の精度を維持しつつ遅延を5%削減できるが、Qwen2-VL-2B-Instructは遅延を半分以上削減するものの精度が犠牲になるというトレードオフが議論されている。 - その他の議論や限界は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究はLLaMA-3.2-11B-Vision-InstructとQwen2-VL-2B-Instruct。 - 関連手法としてOpen RAN、Multi-access Edge Computing (MEC)、WebRTCが挙げられる。 - 同分野の定番としてVision-Language Models (VLMs) やEdge intelligenceが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sarat Ahmad, Maryam Hafeez, Syed Ali Raza Zaidi

分類: cs.RO, cs.AI

原文アブストラクト

Vision-Language Models (VLMs) enable multimodal reasoning for robotic perception and interaction, but their deployment in real-world systems remains constrained by latency, limited onboard resources, and privacy risks of cloud offloading. Edge intelligence within 6G, particularly Open RAN and Multi-access Edge Computing (MEC), offers a pathway to address these challenges by bringing computation closer to the data source. This work investigates the deployment of VLMs on ORAN/MEC infrastructure using the Unitree G1 humanoid robot as an embodied testbed. We design a WebRTC-based pipeline that streams multimodal data to an edge node and evaluate LLaMA-3.2-11B-Vision-Instruct deployed at the edge versus in the cloud under real-time conditions. Our results show that edge deployment preserves near-cloud accuracy while reducing end-to-end latency by 5\%. We further evaluate Qwen2-VL-2B-Instruct, a compact model optimized for resource-constrained environments, which achieves sub-second responsiveness, cutting latency by more than half but at the cost of accuracy.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI