Automotive-ENV：車載インターフェースシステムにおけるマルチモーダルエージェントのベンチマーク
Automotive-ENV: Benchmarking Multimodal Agents in Vehicle Interface Systems
車載GUI向けの初の高忠実度ベンチマークと対話環境を構築し、GPS情報を活用する位置認識型マルチモーダルエージェントASURADAを提案した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Junfeng Yan, Biao Wu, Meng Fang, Ling Chen
分類: cs.RO, cs.CL
原文アブストラクト
Multimodal agents have demonstrated strong performance in general GUI interactions, but their application in automotive systems has been largely unexplored. In-vehicle GUIs present distinct challenges: drivers' limited attention, strict safety requirements, and complex location-based interaction patterns. To address these challenges, we introduce Automotive-ENV, the first high-fidelity benchmark and interaction environment tailored for vehicle GUIs. This platform defines 185 parameterized tasks spanning explicit control, implicit intent understanding, and safety-aware tasks, and provides structured multimodal observations with precise programmatic checks for reproducible evaluation. Building on this benchmark, we propose ASURADA, a geo-aware multimodal agent that integrates GPS-informed context to dynamically adjust actions based on location, environmental conditions, and regional driving norms. Experiments show that geo-aware information significantly improves success on safety-aware tasks, highlighting the importance of location-based context in automotive environments. We will release Automotive-ENV, complete with all tasks and benchmarking tools, to further the development of safe and adaptive in-vehicle agents.
関連論文
- 自己進化型マルチモーダルエージェントのシナリオ横断サーベイと分析マルチモーダルエージェント
- トリニティ：マルチモーダルエージェントの能力駆動型再帰的自己改善マルチモーダルエージェント
- マルチモーダルエージェントのためのタスク焦点型記憶マルチモーダルエージェント
- droidlet：モジュール式ヘテロジニアス・マルチモーダルエージェント基盤マルチモーダルエージェント
