AGENTS-LLM: エージェント型LLMフレームワークによる難易度の高い交通シナリオの拡張生成

- 自動運転 planner のテスト・評価に必要な希少で critical な交通シナリオを、実走行データ収集に頼らず生成する研究。 - 既存 test set のシナリオを自然言語記述で augment する LLM-agent ベースの枠組み AGENTS-LLM を提案。 - 出力の fine-grained control と、小規模で cost-effective な LLM でも高性能を保つ agentic design が特徴。

- 実世界データ収集は希少シナリオ捕捉に大規模データを要する点を課題として指摘。 - データ駆動の自動生成は学習データを大量に必要とし、出力の fine-grained control が乏しい。 - ゼロからの生成は元の training scene からの distributional shift を招き、特に learning-based planner の評価妥当性を損なう。 - 既存の test set シナリオの augment は domain expert による手作業で、評価の規模要求に応えられない。 - 本手法は自然言語記述による LLM-agent でこれら制約に対処する点が新しい。

- LLM-agent ベースの枠組みで、実世界交通シナリオを自然言語記述に従って augment する。 - agentic design により出力への fine-grained control を実現。 - 小規模で cost-effective な LLM でも高性能を維持できる設計。 - 具体的な agent 構成やモジュール詳細は要旨からは不明。

- 大規模な human expert evaluation を実施。 - ユーザ意図への正確な追従性を評価。 - 手作業で作成された augment シナリオに匹敵する高品質なシナリオ生成を確認。 - 定量指標やデータセットの詳細は要旨からは不明。

- 手作業 augment と比較可能な品質を human expert 評価で示す一方、評価は主に人手評価に依拠。 - 小規模 LLM での性能維持を主張するが、その限界や適用範囲の議論は要旨からは不明。 - distributional shift を避ける設計意図は示されるが、learning-based planner 評価への実影響の詳細は要旨からは不明。

- 要旨で比較対象として言及される、test set シナリオを domain expert が手作業で augment する先行研究。 - データ駆動の traffic scenario 自動生成モデルに関する研究。 - ゼロからシナリオを生成する手法と distributional shift を扱う評価研究。 - LLM-agent を用いたシナリオ生成・自動運転評価に関する関連研究。