日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データセットarXiv:2606.10790

一人称視点での手検出のためのマルチモーダルRGB・イベントデータセット

A Multimodal RGB and Events Dataset for Hand Detection in First-Person View

シェア:XThreadsFacebookLINEはてブBluesky

イベントカメラとRGBカメラを組み合わせた手検出用の合成データセットを構築し、既存のマルチモーダル検出アルゴリズムで性能を実証した。

詳しい要約

1. どんなもの?

- 一人称視点での手検出のためのマルチモーダルRGBとイベントカメラのデータセットを提案。 - 既存のRGB Egohandsデータセットからv2eツールボックスで合成イベントデータを生成。 - 照明条件やスケールを変化させたバージョンを提供。 - グラウンドトゥルースは微調整したYOLOv8でRGB画像から生成し、高時間分解能イベントに補間。 - イベントとRGBカメラのマルチモーダル設定で既存の物体検出アルゴリズムを用いて手検出を行い、最先端と同等の性能を実証。

2. 先行研究と比べてどこがすごい?

- 既存の手検出アルゴリズムはフレームベースカメラのフレームレートに制限され、動きのあるロボットシステムではモーションブラーが発生。 - イベントカメラは高ダイナミックレンジ、高時間分解能、低消費電力を持つが、訓練データが少ないのがボトルネック。 - 本研究は一人称視点の合成イベントベース手データセットを提供し、この問題に対処。 - イベントとRGBのステレオ設定が検出精度と帯域幅-遅延トレードオフを改善することを示した最近の研究を活用。

3. 技術・手法の肝は?

- 既存のRGB Egohandsデータセットからv2eツールボックスを用いて合成イベントデータを生成。 - v2eツールボックスのパラメータを変化させ、異なる照明条件とスケールのデータセットバージョンを作成。 - グラウンドトゥルース検出は微調整したYOLOv8モデルをRGB画像に適用し、高時間分解能イベントに補間して生成。 - マルチモーダルデータセットを用いて、イベントとRGBカメラのマルチモーダル設定で既存の物体検出アルゴリズムによる手検出を実行。

4. どうやって有効だと検証した?

- マルチモーダルデータセットを用いて既存の物体検出アルゴリズムで手検出を実行。 - 最先端と同等の性能を実証。 - 具体的な評価指標や比較対象は要旨からは不明。

5. 議論はある?

- イベントベースカメラを物体検出や認識タスクに使用する際の主なボトルネックは訓練データの少なさ。 - 本研究は合成データセットを提案し、この問題に対処。 - 他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている研究: イベントとRGBのステレオ設定が検出精度と帯域幅-遅延トレードオフを改善することを示した最近の研究。 - 関連手法: v2eツールボックス、YOLOv8、Egohandsデータセット。 - 同分野の定番: イベントベース物体検出、マルチモーダル学習。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bharghav Kota, Yulia Sandamirskaya

分類: cs.CV

原文アブストラクト

Existing hand detection algorithms work on images and the detection rate is restricted by the frame rate of the camera. In hand detection applications for moving robotic systems, conventional cameras cause motion blur, especially in darker lighting conditions. We can leverage the use of event-based cameras which possess a high dynamic range, high temporal resolution, and low power consumption. Recent work has shown that using a stereo setup of an event-based and a frame-based camera improves detection accuracy and the bandwidth-latency tradeoff. The main bottleneck in using event-based cameras in object detection and recognition tasks is a relatively low amount of training data. In this work, we propose a methodology and an exemplary synthetic event-based hand dataset from an egocentric, first-person view perspective. The data is synthesized from the existing RGB Egohands dataset with the v2e toolbox. Parameters of the v2e toolbox are varied to provide versions of the dataset with different lighting conditions and scales. Ground truth detections are generated with a fine-tuned YOLOv8 model which is applied to the RGB images in the Egohands dataset and interpolated on the high-temporal resolution events. We use the multi-modal dataset to perform hand detection with existing object detection algorithms which use a multi-modal setup of event and RGB cameras and demonstrate performance comparable to the state-of-the-art.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI