イベントカメラ/動作セグメンテーション2026/2/1arXiv:2602.20790

イベントカメラの法線フローを用いたリアルタイム動作セグメンテーション

Real-time Motion Segmentation with Event-based Normal Flow

イベントカメラの法線フローを中間表現として用い、グラフカットによるエネルギー最小化で動作セグメンテーションをリアルタイムに実行するフレームワークを提案した。

詳しい要約

1. どんなもの？

- Event-based cameraのためのmotion segmentationフレームワーク。 - normal flowを中間表現として利用。 - event neighborhoodからdense normal flowを学習し入力。 - energy minimizationをgraph cutsで解く。 - normal flow clusteringとmotion model fittingを反復。 - リアルタイム性能を目指す。

2. 先行研究と比べてどこがすごい？

- 従来はraw event dataを直接処理し非効率。 - 提案はnormal flowで圧縮し効率化。 - open-source state-of-the-art比で約800倍高速化。 - 限られた候補モデルで独立運動物体のmotion modelを推定。 - 計算複雑度を大幅削減しリアルタイム性確保。

3. 技術・手法の肝は？

- normal flowをevent neighborhoodから直接学習。 - motion segmentationをenergy minimization問題として定式化。 - graph cutsで解く。 - normal flow clusteringとmotion model fittingで反復最適化。 - normal flowベースのmotion model初期化とフィッティング。 - 少数の候補モデルで効率的に推定。

4. どうやって有効だと検証した？

- 複数の公開データセットで評価。 - 精度と効率性を実証。 - open-source state-of-the-artとの比較で約800倍高速化を確認。 - 詳細な評価指標は要旨からは不明。

5. 議論はある？

- 要旨からは不明。 - 限界や失敗ケースについての言及なし。 - 一般化可能性やロバスト性の議論は要旨からは不明。

6. 次に読むべき論文は？

- open-source state-of-the-art method（具体的名称は要旨からは不明）。 - event-based visionにおけるmotion segmentationの関連研究。 - normal flowを利用した他のevent-basedタスク。 - graph cutsを用いたenergy minimization手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sheng Zhong, Zhongyang Ren, Xiya Zhu, Dehao Yuan, Cornelia Fermuller, Yi Zhou

分類: cs.CV, cs.RO

原文アブストラクト

Event-based cameras are bio-inspired sensors with pixels that independently and asynchronously respond to brightness changes at microsecond resolution, offering the potential to handle visual tasks in challenging scenarios. However, due to the sparse information content in individual events, directly processing the raw event data to solve vision tasks is highly inefficient, which severely limits the applicability of state-of-the-art methods in real-time tasks, such as motion segmentation, a fundamental task for dynamic scene understanding. Incorporating normal flow as an intermediate representation to compress motion information from event clusters within a localized region provides a more effective solution. In this work, we propose a normal flow-based motion segmentation framework for event-based vision. Leveraging the dense normal flow directly learned from event neighborhoods as input, we formulate the motion segmentation task as an energy minimization problem solved via graph cuts, and optimize it iteratively with normal flow clustering and motion model fitting. By using a normal flow-based motion model initialization and fitting method, the proposed system is able to efficiently estimate the motion models of independently moving objects with only a limited number of candidate models, which significantly reduces the computational complexity and ensures real-time performance, achieving nearly a 800x speedup in comparison to the open-source state-of-the-art method. Extensive evaluations on multiple public datasets fully demonstrate the accuracy and efficiency of our framework.

arXivで原文を読む →arXiv概要ページ

← 論文一覧