ロボットビジョン2025/8/1arXiv:2508.11584

視覚知覚エンジン：ロボットビジョンタスクのための高速で柔軟なマルチヘッド推論

Visual Perception Engine: Fast and Flexible Multi-Head Inference for Robotic Vision Tasks

共有バックボーンと複数のタスクヘッドを並列実行し、GPUメモリ転送を排除して最大3倍の高速化を実現するモジュール型フレームワークを提案。

詳しい要約

1. どんなもの？

- ロボットの視覚認識タスク向けのモジュール型フレームワーク「Visual Perception Engine (VPEngine)」 - 複数の知覚タスクを限られた計算資源で効率的に実行することを目的とする - 共有 foundation model backbone で画像表現を抽出し、複数のタスク特化 head で並列推論 - Python 実装・オープンソースで、ROS2 C++ (Humble) bindings を提供 - 例として DINOv2 backbone と depth・object detection・semantic segmentation の head 構成を提示

2. 先行研究と比べてどこがすごい？

- 従来の逐次モデル実行では feature extraction の計算がタスクごとに重複し、メモリ消費も大きい - VPEngine は backbone の画像表現を共有することで、この冗長な計算を排除 - 逐次実行と比較して最大 3x の speedup を達成 - CUDA Multi-Process Service (MPS) を基盤に GPU 利用効率を高め、一定の memory footprint を維持 - 実行時にタスクごとの推論頻度を動的に調整可能

3. 技術・手法の肝は？

- 共有 foundation model backbone が画像表現を抽出し、GPU-CPU 間の不要なメモリ転送なしに複数のタスク head へ共有 - タスク特化 head を並列実行し、アプリケーション要求に応じた動的なタスク優先度付けを可能にする - CUDA Multi-Process Service (MPS) を利用して GPU を効率的に活用 - 実行時にタスクごとの推論頻度を変更できる設計 - 例では DINOv2 を backbone とし、TensorRT 最適化モデルを用いる

4. どうやって有効だと検証した？

- DINOv2 backbone と depth・object detection・semantic segmentation の head からなる実装例で評価 - 逐次実行と比較して最大 3x の speedup を報告 - NVIDIA Jetson Orin AGX 上で TensorRT 最適化モデルにより end-to-end で ≥50 Hz のリアルタイム性能を実証 - 一定の memory footprint を維持しつつ動的な推論頻度調整が可能であることを示す

5. 議論はある？

- 要旨からは不明 - 限られた計算資源での冗長計算・大メモリ消費・統合の複雑さへの対処を動機として述べている - 拡張性と開発者アクセシビリティの維持を設計目標として挙げている

6. 次に読むべき論文は？

- DINOv2（例示された foundation model backbone） - CUDA Multi-Process Service (MPS)（基盤技術） - TensorRT（最適化に使用） - ROS2 C++ (Humble) bindings（統合先） - 比較対象として従来の逐次モデル実行（sequential execution）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jakub Łucki, Jonathan Becktor, Georgios Georgakis, Rob Royce, Shehryar Khattak

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

Deploying multiple machine learning models on resource-constrained robotic platforms for different perception tasks often results in redundant computations, large memory footprints, and complex integration challenges. In response, this work presents Visual Perception Engine (VPEngine), a modular framework designed to enable efficient GPU usage for visual multitasking while maintaining extensibility and developer accessibility. Our framework architecture leverages a shared foundation model backbone that extracts image representations, which are efficiently shared, without any unnecessary GPU-CPU memory transfers, across multiple specialized task-specific model heads running in parallel. This design eliminates the computational redundancy inherent in feature extraction component when deploying traditional sequential models while enabling dynamic task prioritization based on application demands. We demonstrate our framework's capabilities through an example implementation using DINOv2 as the foundation model with multiple task (depth, object detection and semantic segmentation) heads, achieving up to 3x speedup compared to sequential execution. Building on CUDA Multi-Process Service (MPS), VPEngine offers efficient GPU utilization and maintains a constant memory footprint while allowing per-task inference frequencies to be adjusted dynamically during runtime. The framework is written in Python and is open source with ROS2 C++ (Humble) bindings for ease of use by the robotics community across diverse robotic platforms. Our example implementation demonstrates end-to-end real-time performance at $\geq$50 Hz on NVIDIA Jetson Orin AGX for TensorRT optimized models.

arXivで原文を読む →arXiv概要ページ

視覚知覚エンジン：ロボットビジョンタスクのための高速で柔軟なマルチヘッド推論

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

OZ GAMING（GPU搭載BTOゲーミングPC）

双腕モバイルマニピュレーター OpenShell