日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.04258

自己注意機構によるRGB-イベント融合を用いた衝突予測

RGB-Event Fusion with Self-Attention for Collision Prediction

シェア:XThreadsFacebookLINEはてブBluesky

RGBカメラとイベントカメラの2つの入力を自己注意機構で融合し、ドローンの動的物体との衝突時刻と位置を予測する手法を提案。単一モダリティとの精度・計算コストのトレードオフを評価した。

詳しい要約

1. どんなもの?

- 動的な物体との衝突予測(衝突時刻と衝突位置)を行うニューラルネットワークフレームワーク。 - RGBカメラとevent-based vision sensorの2モダリティを使用。 - 各モダリティに独立したencoder branchを持ち、self-attentionで融合するアーキテクチャ。 - 無人航空機(UAV)の安全運航のための障害物回避を目的とする。

2. 先行研究と比べてどこがすごい?

- 単一モダリティ(RGBのみ、eventのみ)と比較して、融合モデルは予測精度が平均1%向上、0.5m以遠では10%向上。 - ただしメモリ+71%、FLOPs+105%のコスト増。 - event-basedモデルはRGBモデルより位置誤差で4%、時間誤差で26%優れ、計算コストは同程度。 - 量子化(1〜8bit)のevent-basedモデルの評価も行い、性能と効率のトレードオフを明らかにした点が新しい。

3. 技術・手法の肝は?

- 2つのencoder branch(RGB用とevent用)で各モダリティを個別に特徴抽出。 - self-attentionによるfusionモジュールで特徴を統合。 - 衝突時刻と衝突位置を予測する回帰タスク。 - event-basedモデルには1〜8bitの量子化を適用し、性能と計算効率のトレードオフを評価。

4. どうやって有効だと検証した?

- ABCD [8] データセットを用いてベンチマーク。 - 単一モダリティとfusion-basedアプローチの詳細な比較を実施。 - 同一予測スループット50Hzでの精度比較。 - 量子化バージョンのevent-basedモデルの評価も実施。

5. 議論はある?

- fusionによる精度向上と計算コスト増のトレードオフを指摘。 - event-basedモデルがRGBモデルより効率的であることを示唆。 - 量子化による性能と効率のトレードオフを評価。 - ロボティクス応用におけるRGBとevent-basedカメラのマルチモーダル知覚のトレードオフを強調。

6. 次に読むべき論文は?

- ABCD [8] データセットの論文(ベンチマークの基盤)。 - event-based vision sensorを用いた衝突予測や障害物回避の関連研究。 - self-attentionを用いたマルチモーダルfusionの研究。 - モデル量子化(1〜8bit)のロボティクス応用に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pietro Bonazzi, Christian Vogt, Michael Jost, Haotong Qin, Lyes Khacef, Federico Paredes-Valles, Michele Magno

分類: cs.RO, cs.CV

原文アブストラクト

Ensuring robust and real-time obstacle avoidance is critical for the safe operation of autonomous robots in dynamic, real-world environments. This paper proposes a neural network framework for predicting the time and collision position of an unmanned aerial vehicle with a dynamic object, using RGB and event-based vision sensors. The proposed architecture consists of two separate encoder branches, one for each modality, followed by fusion by self-attention to improve prediction accuracy. To facilitate benchmarking, we leverage the ABCD [8] dataset collected that enables detailed comparisons of single-modality and fusion-based approaches. At the same prediction throughput of 50Hz, the experimental results show that the fusion-based model offers an improvement in prediction accuracy over single-modality approaches of 1% on average and 10% for distances beyond 0.5m, but comes at the cost of +71% in memory and + 105% in FLOPs. Notably, the event-based model outperforms the RGB model by 4% for position and 26% for time error at a similar computational cost, making it a competitive alternative. Additionally, we evaluate quantized versions of the event-based models, applying 1- to 8-bit quantization to assess the trade-offs between predictive performance and computational efficiency. These findings highlight the trade-offs of multi-modal perception using RGB and event-based cameras in robotic applications.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI