日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

イベントカメラ/スポーツロボティクスarXiv:2606.25620

1000ラリー:ロボット卓球のためのイベントカメラデータセットとリアルタイム学習型ボール状態推定

1000 Rallies: An Event-Camera Dataset and Real-Time Learned Ball-State Estimation for Robotic Table Tennis

シェア:XThreadsFacebookLINEはてブBluesky

卓球ロボット向けに、1000以上のラリーを含む大規模イベントカメラデータセットを構築し、イベントからボールの位置と速度を推定するCNNを学習。カルマンフィルタに速度予測を統合し、バウンス点予測誤差を36%削減した。

詳しい要約

1. どんなもの?

- 卓球ロボティクス向けの大規模 event-camera データセットと、event ベースのリアルタイム ball-state estimation を提案。 - 1000 ラリー以上、アマチュアからエリート選手まで多様なプレイヤーを収録。 - 各記録は event stream と 14 台の同期 high-speed frame-based cameras (200 FPS) を含む。 - 1 kHz の pseudo ground-truth ラベル (ball position, velocity, spin) を生成。 - CNN で image-plane 上の ball position と velocity を jointly 推定。 - Stäubli ロボットアームと統合し、event-based perception による初のリアルタイム human-robot 卓球ラリーを実現。

2. 先行研究と比べてどこがすごい?

- 従来の frame-based cameras は low frame rate で temporal blind spots が生じ、high frame rate ではデータ・計算コストが増大するトレードオフがあった。 - Event cameras は microsecond 時間分解能と、十分な照明下で高速球でも motion blur がほぼない利点を持つ。 - しかし、現実のスポーツシナリオで event-based perception を開発・評価するための大規模データセットが欠如していた。 - 本研究は卓球向け初の大規模 event-camera データセットを提供し、このギャップを埋める。 - また、event から ball position と velocity を jointly 推定する CNN を学習し、Kalman filter に velocity を追加測定として統合することで bounce-point prediction error を position-only baseline 比で 36% 削減。 - さらに event-based p…

3. 技術・手法の肝は?

- 1000 ラリー以上の event stream と 14 台の同期 high-speed frame-based cameras (200 FPS) を収録。 - 1 kHz の pseudo ground-truth ラベル (ball position, velocity, spin) を生成。 - 背景の player motion に頑健な CNN を学習し、event から image-plane 上の ball position と velocity を jointly 推定。 - 予測 velocity を Kalman filter の追加測定として扱い、bounce-point prediction を改善。 - Event-based system を Stäubli robotic arm と統合し、perception-action loop を閉じる。

4. どうやって有効だと検証した?

- 1000 ラリー以上の大規模データセットを構築し、多様なプレイヤー(アマチュアからエリート)を収録。 - 14 台の同期 high-speed frame-based cameras (200 FPS) から 1 kHz の pseudo ground-truth ラベルを生成。 - CNN による ball position と velocity の jointly 推定を学習。 - Kalman filter に velocity を追加測定として統合し、bounce-point prediction error を position-only baseline 比で 36% 削減。 - Stäubli robotic arm と統合し、event-based perception によるリアルタイム human-robot 卓球ラリーを実現。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、event-based vision の一般的な手法(例: event camera を用いた object tracking, motion estimation)や、卓球ロボティクスにおける trajectory prediction の研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Raphaela Kreiser, Asude Aydin, Yin Bi, Claudio Fanconi, Peter Dürr, Naoya Takahashi

分類: cs.RO, cs.CV, eess.IV

原文アブストラクト

Robotic table tennis has emerged as a compelling benchmark for real-time robotic perception due to its fast ball dynamics and stringent timing requirements. Accurate, high-frequency, and low-latency ball state estimation is critical for reliable trajectory prediction and timely control. Traditional frame-based cameras face an inherent trade-off: low frame rates leave temporal blind spots that miss fast-moving objects and high frame rates raise data and computational cost. Event cameras instead offer microsecond temporal resolution and, under sufficient illumination, remain largely free of motion blur even at high ball speeds. However, the community lacks large-scale datasets to develop and benchmark event-based perception in realistic sports scenarios. We address this gap by introducing the first large-scale event-camera dataset for table tennis, comprising over 1000 rallies from a diverse group of players ranging from amateurs to elite-level athletes. Each recording captures the event stream alongside 14 synchronized high-speed frame-based cameras at 200 FPS, which we use to produce 1 kHz pseudo ground-truth labels for ball position, velocity, and spin. Building on this dataset, we train a convolutional neural network robust to background player motion that jointly estimates the ball's position and velocity in the image-plane from events. Treating the predicted velocity as an additional measurement in the Kalman filter reduces bounce-point prediction error by 36% relative to a position-only baseline. Finally, we close the perception-action loop by integrating the event-based system with a St\"aubli robotic arm, enabling the first real-time human-robot table tennis rallies driven by event-based perception.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI