日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

イベントカメラ/姿勢推定arXiv:2611.07630

PWM符号化マーカーを用いたイベントカメラによるLED追跡と姿勢推定

Real-Time Event-Based LED Tracking and Pose Estimation with PWM-Encoded Markers

シェア:XThreadsFacebookLINEはてブBluesky

PWM符号化したLEDマーカーをイベントカメラで追跡し、高速動作やHDR照明下でも6自由度相対姿勢をリアルタイム推定する枠組みを提案した。

詳しい要約

1. どんなもの?

- Event camera(非同期・マイクロ秒応答のニューロモルフィック視覚センサ)を用い、LEDマーカーの追跡と6-DoF相対pose推定をリアルタイムに行うフレームワーク。 - PWM-encoded LED markers:複数LEDが共通のblinking frequencyを共有し、異なるPWM duty cycleでidentityを符号化する。 - 低レートのLED detectionと高レートのraw-event更新を組み合わせたdual-rate asynchronous trackingを特徴とする。 - quadrotorとMecanum-wheeled mobile robotからなる協調ロボットplatform上での応用も提示。

2. 先行研究と比べてどこがすごい?

- 複数LEDが共通blinking frequencyを共有しPWM duty cycleでidentityを区別するため、frequency-resource requirementsとcomputational costを低減できる点が従来と異なる。 - 低レートdetection+高レートraw-event更新のdual-rate asynchronous trackingにより、rapid motion下でもrobustなLED identity associationとpixel-level trackingを維持。 - 具体的な先行研究名・比較数値は要旨からは不明。

3. 技術・手法の肝は?

- Event cameraでLEDの高周波blinking patternsを捕捉し、PWM duty cycleに基づきLED identityを復号。 - dual-rate asynchronous tracking:低レートでLED detection、高レートでraw-event更新を行い、identity associationとpixel-level trackingを両立。 - LED identityと位置から2D-3D correspondencesを構築し、real-time metric 6-DoF relative pose estimationを実施。 - NVIDIA Jetson Orin NX上へのonboard deploymentを想定した構成。

4. どうやって有効だと検証した?

- 自前収集datasetでのextensive evaluationsを実施し、large motion flowやtransient image-plane LED overlap下でのrobustnessを示した。 - quadrotorとMecanum-wheeled mobile robotの協調platformを開発し、time-varying HDR illumination下でhoveringおよびtarget-following experimentsによるclosed-loop drone guidanceの可能性を実証。 - onboard deploymentはNVIDIA Jetson Orin NX上で行った。

5. 議論はある?

- 要旨からは不明(large motion flowやtransient image-plane LED overlapへのrobust性、HDR照明下のclosed-loop実験結果が述べられるのみで、限界や失敗事例の議論は記載なし)。 - datasetとimplementationの公開予定が述べられている。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。関連手法としてevent cameraを用いたLED-based tracking、PWM-encoded markers、6-DoF relative pose estimation、event-based state estimationの文献を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junkai Niu, Sheng Zhong, Delei Kong, Xin Wang, Kaizhen Sun, Yusen Zhang, Mingzhen Gan, Yi Zhou

分類: cs.RO

原文アブストラクト

Event cameras are neuromorphic vision sensors with pixels that independently and asynchronously respond to brightness changes at microsecond resolution, supporting state estimation under rapid motion, motion blur, and high dynamic range (HDR) illumination. This also enables capture of high-frequency blinking patterns from light-emitting diodes (LEDs). Based on this, we propose a real-time event-based framework for LED tracking and six-degree-of-freedom (6-DoF) relative pose estimation using pulse-width modulation (PWM)-encoded LED markers. Multiple LEDs share a common blinking frequency and encode identities through distinct PWM duty cycles, reducing frequency-resource requirements and computational cost. Our dual-rate asynchronous tracking framework combines low-rate LED detection with high-rate raw-event updates, maintaining robust LED identity association and accurate pixel-level tracking under rapid motion. LED identities and positions establish reliable 2D-3D correspondences for real-time metric 6-DoF relative pose estimation. Extensive evaluations on a self-collected dataset demonstrate robustness under large motion flow and transient image-plane LED overlap. Furthermore, we develop a coordinated robotic platform comprising a quadrotor and a Mecanum-wheeled mobile robot, demonstrating the proposed framework's potential for closed-loop drone guidance through hovering and target-following experiments under time-varying HDR illumination, with onboard deployment on an NVIDIA Jetson Orin NX. The dataset and implementation will be released to facilitate further research.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI