日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

エッジAI/ジェスチャ認識arXiv:2605.12506

Scale-Gest: オンデバイスジェスチャ検出のためのスケーラブルなモデル空間合成と実行時選択

Scale-Gest: Scalable Model-Space Synthesis and Runtime Selection for On-Device Gesture Detection

シェア:XThreadsFacebookLINEはてブBluesky

バッテリー残量などの制約に応じて、複数のtiny-YOLOモデルから最適なものを実行時に選択するジェスチャ検出フレームワークを提案。エネルギー消費を4倍削減しつつ高精度を維持する。

詳しい要約

1. どんなもの?

- オンデバイスでのMLベースのジェスチャ検出を、リアルタイム性能・エネルギー・メモリ制約下で実現するフレームワーク。 - 単一固定検出器ではなく、tiny-YOLOアーキテクチャの密なファミリに検出器空間を拡張。 - デバイス校正済みのACE (Accuracy-Complexity-Energy) プロファイルを複数導入。 - 軽量ランタイムコントローラがユーザ定義・バッテリ制約下でACEモードを選択。 - motion-aware hand-gesture-tracking ROIゲートで入力をクロップし検出を軽量化。 - 実車運転シナリオ評価用に時間注釈付きDriver Simulated Gesture (DSG-18) データセットを導入。

2. 先行研究と比べてどこがすごい?

- 既存のEdgeAI展開は通常単一の固定検出器に依存し、最適化機会が限られる。 - Scale-Gestはランタイム適応型で、検出器空間を密なtiny-YOLOファミリに拡張。 - 単一検出器アプローチと比較して、イベントレベルF1を維持しつつエネルギーとレイテンシを大幅削減。 - バッテリ駆動ラップトップで、ACEコントローラがフレームあたりエネルギーを4倍削減 (6.9 mJから1.6 mJ)。 - 高いジェスチャ検出性能 (イベントレベルF1 = 0.8-0.9) と低平均レイテンシ (6 ms) を維持。

3. 技術・手法の肝は?

- 検出器空間をtiny-YOLOアーキテクチャの密なファミリに拡張。 - 異なるmodel-resolution-stride動作点を分析し、デバイス校正済みACEプロファイルを複数導入。 - 軽量ランタイムコントローラがユーザ定義・バッテリ制約下で適切なACEモードを選択。 - motion-aware hand-gesture-tracking ROIゲートが入力をクロップし、検出の複雑さを低減。 - 詳細なアルゴリズムや実装は要旨からは不明。

4. どうやって有効だと検証した?

- 実世界の車運転シナリオでの性能評価を実施。 - 時間注釈付きDriver Simulated Gesture (DSG-18) データセットを導入して評価。 - バッテリ駆動ラップトップでジェスチャストリームを実行。 - ACEコントローラがフレームあたりエネルギーを4倍削減 (6.9 mJから1.6 mJ) しつつ、イベントレベルF1 = 0.8-0.9、平均レイテンシ6 msを維持。 - 単一検出器アプローチと比較してエネルギーとレイテンシを大幅削減。

5. 議論はある?

- 要旨からは不明。 - 制約や限界、今後の課題についての議論は要旨に記載なし。

6. 次に読むべき論文は?

- tiny-YOLO - EdgeAI - ACE (Accuracy-Complexity-Energy) プロファイル - Driver Simulated Gesture (DSG-18) データセット - motion-aware hand-gesture-tracking ROIゲート

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Abdul Basit, Saim Rehman, Muhammad Shafique

分類: cs.CV, cs.AI, cs.HC, cs.RO, eess.IV

原文アブストラクト

Realizing on-device ML-based gesture detection under tight real-time performance, energy and memory constraints is challenging, especially when considering mobile devices with varying battery-power levels. Existing EdgeAI deployments typically rely on a single fixed detector, limiting optimization opportunities. We present Scale-Gest, a novel run-time adaptive gesture detection framework that expands the detector space into a dense family of tiny-YOLO architectures. We introduce multiple novel device-calibrated ACE (Accuracy-Complexity-Energy) profiles by analyzing different model-resolution-stride operating points. A lightweight run-time controller selects an appropriate ACE mode under user-defined and battery constraints, while a motion-aware hand-gesture-tracking ROI gate crops the input for reduced complexity detection. To evaluate performance of our system in real-world car driving scenarios, we introduce a temporally-annotated Driver Simulated Gesture (DSG-18) dataset. Scale-Gest maintains event-level F1 while significantly reducing energy and latency compared to single-detector approaches. On a battery-powered laptop running gesture streams, our ACE controller reduces per-frame energy by 4x (from 6.9 mJ to 1.6 mJ) while maintaining high gesture-detection performance (event-level F1 = 0.8-0.9) and low mean latency (6 ms).

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI