手姿勢推定/イベントカメラ2026/5/1arXiv:2605.12297

EgoEV-HandPose: ステレオイベントカメラによる自己中心視点の3D手姿勢推定とジェスチャ認識

EgoEV-HandPose: Egocentric 3D Hand Pose Estimation and Gesture Recognition with Stereo Event Cameras

ステレオイベントカメラを用いて、自己中心視点での両手の3D姿勢推定とジェスチャ認識を同時に行うエンドツーエンドフレームワークを提案し、大規模な実世界データセットも構築した。

詳しい要約

1. どんなもの？

- Egocentric 3D hand pose estimation and gesture recognition のための end-to-end framework - Stereo event streams から joint 3D bimanual pose estimation と gesture recognition を同時に行う - KeypointBEV という stereo fusion module を中核に据える - EgoEVHands という初の大規模 real-world stereo event-camera dataset を導入 - 38 gesture classes、5,419 annotated sequences を含む

2. 先行研究と比べてどこがすごい？

- 従来の frame-based cameras は motion blur と limited dynamic range に弱い - 既存の event-based methods は ego-motion interference、monocular depth ambiguity、大規模 real-world stereo dataset の欠如に悩まされる - 提案手法は RGB-based stereo や prior event-camera methods を大きく上回る - 特に low-light と bimanual occlusion シナリオで優位 - event-based egocentric perception の新 benchmark を確立

3. 技術・手法の肝は？

- KeypointBEV: stereo fusion module - features を canonical bird's-eye-view space に持ち上げる - iterative reprojection-guided refinement loop を採用 - depth uncertainty を段階的に解消 - kinematic consistency を強制する - end-to-end で 3D bimanual pose と gesture を jointly 推定

4. どうやって有効だと検証した？

- EgoEVHands dataset 上で extensive experiments を実施 - MPJPE 30.54mm を達成 - gesture recognition accuracy 86.87% Top-1 を達成 - RGB-based stereo および prior event-camera methods と比較 - low-light と bimanual occlusion シナリオで特に有効性を確認

5. 議論はある？

- 提案手法は state-of-the-art を達成し新 benchmark を設定 - dataset と source code は公開予定 - 具体的な limitation や failure cases は要旨からは不明 - 計算コストやリアルタイム性の議論は要旨からは不明

6. 次に読むべき論文は？

- RGB-based stereo methods - prior event-camera methods - event-based hand pose estimation - stereo event camera fusion - egocentric hand perception - KeypointBEV の関連手法 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Luming Wang, Hao Shi, Jiajun Zhai, Kailun Yang, Kaiwei Wang

分類: cs.CV, cs.RO, eess.IV

原文アブストラクト

Egocentric 3D hand pose estimation and gesture recognition are essential for immersive augmented/virtual reality, human-computer interaction, and robotics. However, conventional frame-based cameras suffer from motion blur and limited dynamic range, while existing event-based methods are hindered by ego-motion interference, monocular depth ambiguity, and the lack of large-scale real-world stereo datasets. To overcome these limitations, we propose EgoEV-HandPose, an end-to-end framework for joint 3D bimanual pose estimation and gesture recognition from stereo event streams. Central to our approach is KeypointBEV, a flexible stereo fusion module that lifts features into a canonical bird's-eye-view space and employs an iterative reprojection-guided refinement loop to progressively resolve depth uncertainty and enforce kinematic consistency. In addition, we introduce EgoEVHands, the first large-scale real-world stereo event-camera dataset for egocentric hand perception, containing 5,419 annotated sequences with dense 3D/2D keypoints across 38 gesture classes under varying illumination. Extensive experiments demonstrate that EgoEV-HandPose achieves state-of-the-art performance with an MPJPE of 30.54mm and 86.87% Top-1 gesture recognition accuracy, significantly outperforming RGB-based stereo and prior event-camera methods, particularly in low-light and bimanual occlusion scenarios, thereby setting a new benchmark for event-based egocentric perception. The established dataset and source code will be publicly released at https://github.com/ZJUWang01/EgoEV-HandPose.

arXivで原文を読む →arXiv概要ページ

← 論文一覧