MTRDrive: 記憶とツールの協調推論によるコーナーケースに頑健な自動運転

- Vision-Language Models(VLMs)を用いた end-to-end autonomous driving 向けの新フレームワーク MTRDrive を提案 - 手続き的な運転経験(procedural driving experiences)と動的ツールキット(dynamic toolkit)を統合 - 閉ループ系で memory-based experience retrieval と dynamic toolkits を組み合わせ、memory-tool synergistic reasoning を実現 - 複雑な Roadwork 建設シナリオに基づく新 benchmark(Roadwork-VLM)も導入 - 3B-parameter モデルで NAVSIM や zero-shot 評価を実施

- 既存 VLMs は hallucination や out-of-distribution(OOD)での汎化不足により実運用信頼性に大きな隔たりがある - MTRDrive は memory と tool の相乗推論で generalization と proactive decision-making を強化 - NAVSIM で chain-of-thought なしに PDMS 88.3 を達成 - high-level planning で driving metric score 79.8%、planning accuracy 82.6% と state-of-the-art を主張 - Roadwork-VLM の zero-shot 評価で driving metric score 80.2% を示す

- memory-based experience retrieval mechanism と dynamic toolkits を組み合わせた closed-loop system - procedural driving experiences を記憶として保持し検索に利用 - dynamic toolkit により環境との相互作用を強化 - memory-tool synergistic reasoning で reasoning と decision-making を改善 - 詳細なアーキテクチャや学習手順は要旨からは不明

- 公開 NAVSIM benchmark で 3B-parameter MTRDrive を評価 - chain-of-thought なしで PDMS 88.3 を達成 - high-level planning で driving metric score 79.8%、planning accuracy 82.6% - 新規 Roadwork-VLM benchmark で zero-shot 評価を実施し driving metric score 80.2% - 実験設定や比較対象の詳細は要旨からは不明

- VLMs の hallucination と OOD 脆弱性が実運用上の課題であると議論 - memory と tool の synergy が generalization と proactive decision-making に有効と主張 - Roadwork 建設シナリオを zero-shot generalization 評価の場として提示 - 限界や失敗事例、計算コスト、安全性の詳細な議論は要旨からは不明

- NAVSIM benchmark に関する研究 - end-to-end autonomous driving 向け VLMs の先行研究(具体名は要旨からは不明) - chain-of-thought を用いる driving reasoning 手法 - out-of-distribution(OOD)汎化や hallucination 対策の研究 - Roadwork 建設シナリオの benchmark 関連研究