イベントカメラ/OCR2025/6/1arXiv:2506.06918

視線誘導イベントビジョンによる暗所読書

Reading in the Dark with Foveated Event Vision

スマートグラスにおいて、ユーザーの視線でイベントストリームを中心視化し、帯域を98%削減しつつ暗所や高速シーンでの文字認識を可能にするイベントベースOCRを提案。

詳しい要約

1. どんなもの？

- スマートグラス向けの新しい event-based Optical Character Recognition (OCR) 手法 - ユーザの eye gaze を用いて event stream を foveate し、帯域を約98%削減 - event camera の高ダイナミックレンジ・高速性を活かし、低照度や高速シーンでの文字読み取りを狙う - deep binary reconstruction と multimodal LLMs を組み合わせて OCR を行う

2. 先行研究と比べてどこがすごい？

- 従来の RGB camera 搭載スマートグラスは motion blur や限られた dynamic range のため低照度・高速シーンで苦戦 - frame camera は密な画像取得に大帯域・電力消費を要し battery を消耗 - 提案手法は event camera と foveation により、wearable RGB camera 比で最大2400倍少ない帯域で動作 - 従来 OCR を上回る性能を報告

3. 技術・手法の肝は？

- eye gaze に基づき event stream を foveate して帯域を大幅削減 - synthetic data で学習した deep binary reconstruction を適用 - 再構成結果を multimodal LLMs で OCR 処理 - event camera の高 dynamic range・高速応答を活用

4. どうやって有効だと検証した？

- 提案手法が従来 OCR を上回ることを結果で示す - RGB camera が苦戦する低照度環境での文字読み取りを実証 - wearable RGB camera 比で最大2400倍少ない帯域使用を報告 - 具体的なデータセット名や評価指標は要旨からは不明

5. 議論はある？

- 帯域削減と低照度・高速シーンでの有効性を主張 - 詳細な限界や失敗ケース、定量評価の内訳は要旨からは不明 - synthetic data 学習の実環境への汎化性に関する議論は要旨からは不明

6. 次に読むべき論文は？

- event camera を用いた OCR 関連研究 - foveated sensing / foveation を用いた vision 手法 - deep binary reconstruction 関連研究 - multimodal LLMs を用いた OCR 研究 - 具体的な参照論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Carl Brander, Giovanni Cioffi, Nico Messikommer, Davide Scaramuzza

分類: cs.CV, cs.RO

原文アブストラクト

Current smart glasses equipped with RGB cameras struggle to perceive the environment in low-light and high-speed motion scenarios due to motion blur and the limited dynamic range of frame cameras. Additionally, capturing dense images with a frame camera requires large bandwidth and power consumption, consequently draining the battery faster. These challenges are especially relevant for developing algorithms that can read text from images. In this work, we propose a novel event-based Optical Character Recognition (OCR) approach for smart glasses. By using the eye gaze of the user, we foveate the event stream to significantly reduce bandwidth by around 98% while exploiting the benefits of event cameras in high-dynamic and fast scenes. Our proposed method performs deep binary reconstruction trained on synthetic data and leverages multimodal LLMs for OCR, outperforming traditional OCR solutions. Our results demonstrate the ability to read text in low light environments where RGB cameras struggle while using up to 2400 times less bandwidth than a wearable RGB camera.

arXivで原文を読む →arXiv概要ページ

← 論文一覧