Li-ViP3D++: クエリゲート型変形可能カメラ-LiDAR融合によるエンドツーエンド知覚と軌道予測

- カメラとLiDARの生データからend-to-endでperceptionとtrajectory predictionを行うautonomous driving向けフレームワーク。 - Li-ViP3D++はquery-based multimodal PnPモデルで、Query-Gated Deformable Fusion (QGDF)を導入。 - 検出・追跡・多仮説軌道予測を単一モデルでjointly optimizeする。

- 従来のmodular pipelineは情報流が制限され上流誤差を増幅。 - 最近のquery-based fully differentiable PnPでもcameraとLiDARのquery-spaceでの相補性が未十分。 - 既存fusionはheuristic alignmentやdiscrete selectionを含み、情報活用を妨げバイアスを導入。 - 提案はquery-spaceで完全微分可能なfusionを実現し、nuScenesでEPA 0.335、mAP 0.502、FP ratio 0.147と改善。 - 先行Li-ViP3Dより高速（139.82 ms vs. 145.91 ms）。

- QGDFは3要素：(i) masked attentionで複数カメラ・特徴レベルを横断して画像証拠を集約。 - (ii) learned per-query offsetsを用いたfully differentiable BEV samplingでLiDAR contextを抽出。 - (iii) query-conditioned gatingでagentごとに視覚と幾何の手がかりを適応的に重み付け。 - これらを統合し、detection・tracking・multi-hypothesis trajectory forecastingをend-to-endでjointly optimize。

- nuScenesで評価。 - end-to-end behaviorとdetection qualityが向上：EPA 0.335、mAP 0.502。 - false positivesを大幅削減：FP ratio 0.147。 - 先行Li-ViP3Dより高速：139.82 ms vs. 145.91 ms。

- query-spaceで完全微分可能なcamera-LiDAR fusionがend-to-end PnPのrobustnessを高め、deployabilityを犠牲にしないことを示唆。 - ただし具体的な限界や失敗ケース、計算コストの詳細、他データセットへの一般化については要旨からは不明。

- 要旨で参照/比較されているLi-ViP3D。 - 関連手法としてquery-based fully differentiable perception-and-prediction (PnP) models、masked attention、BEV sampling、multi-hypothesis trajectory forecasting。 - 同分野の定番としてnuScenesベースのend-to-end autonomous driving研究。