Semantic-Drive: オープンボキャブラリ接地とニューロシンボリックVLM合意によるロングテールデータキュレーションの民主化
Semantic-Drive: Democratizing Long-Tail Data Curation via Open-Vocabulary Grounding and Neuro-Symbolic VLM Consensus
自動運転のロングテールデータを効率的に収集するため、オープンボキャブラリ検出器と推論VLMを組み合わせたローカル動作のニューロシンボリックフレームワークを提案し、幻覚を抑えつつ高精度なデータマイニングを実現した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
分類: cs.CV, cs.AI, cs.CL, cs.RO
原文アブストラクト
The development of robust Autonomous Vehicles (AVs) is bottlenecked by the scarcity of "Long-Tail" training data. While fleets collect petabytes of video logs, identifying rare safety-critical events (e.g., erratic jaywalking, construction diversions) remains a manual, cost-prohibitive process. Existing solutions rely on coarse metadata search, which lacks precision, or cloud-based VLMs, which are privacy-invasive and expensive. We introduce Semantic-Drive, a local-first, neuro-symbolic framework for semantic data mining. Our approach decouples perception into two stages: (1) Symbolic Grounding via a real-time open-vocabulary detector (YOLOE) to anchor attention, and (2) Cognitive Analysis via a Reasoning VLM that performs forensic scene analysis. To mitigate hallucination, we implement a "System 2" inference-time alignment strategy, utilizing a multi-model "Judge-Scout" consensus mechanism. Benchmarked on the nuScenes dataset against the Waymo Open Dataset (WOD-E2E) taxonomy, Semantic-Drive achieves a Recall of 0.966 (vs. 0.475 for CLIP) and reduces Risk Assessment Error by 40% ccompared to the best single scout models. The system runs entirely on consumer hardware (NVIDIA RTX 3090), offering a privacy-preserving alternative to the cloud.
関連論文
- ロングテールな人間データキュレーションのための品質フィルタ監査データキュレーション
- ATHENA: ロボットデータキュレーションのための高速マルチタスク異種影響関数データキュレーション
- 実際に測定できる多様性：ロボットデータセットのための高速でモデルフリーな多様性指標データキュレーション
- 量より質：データ中心ロボット学習のための影響関数によるデモンストレーションキュレーションデータキュレーション
- ROSER: ロボット学習のスケーラビリティを実現する数ショットロボットシーケンス検索データキュレーション
- OpenGVL：データキュレーションのための視覚的時間進捗ベンチマークデータキュレーション
