GPSとNLPを用いた自動データキュレーションによる自動運転向け視覚言語ナビゲーション用指示-行動ペアの生成

- 本論文は、自動運転車（AV）向けのInstruction-Action（IA）データペアを、人手によるアノテーションなしで自動生成する手法を探求する。 - モバイルアプリのGPS音声指示とNLPを活用し、多様な目的地への運転を通じて音声指示を収集・分類する。 - ビデオデータと組み合わせて完全なvision-language-actionトライアドを形成する。 - 完全自動データ収集プロトタイプシステム「ADVLAT-Engine」の詳細を提供する。 - GPS音声指示を8つの異なる分類に特徴づけ、自由に利用可能なモバイルアプリからキュレーション可能なコマンドと参照性の広さを強調する。

- 従来のIAデータペア作成は人手によるアノテーションが高コストで時間非効率であった。 - 本研究はGPS参照とNLPを用いて自動生成することで、人手を介さずに大規模なIAコマンドと応答を生成する可能性を示す。 - パイロットデータ収集では、GPSアプリからの音声指示を収集・分類し、ビデオデータと組み合わせて完全なvision-language-actionトライアドを形成する点が新しい。 - 具体的な先行研究との比較は要旨からは不明。

- モバイルアプリのGPS音声指示を利用し、目的地への運転中に音声指示を収集する。 - 収集したGPS音声指示を8つの分類にカテゴリ化する。 - ビデオデータを同時に収集し、指示・行動・視覚情報を組み合わせたトライアドを形成する。 - 完全自動データ収集プロトタイプシステム「ADVLAT-Engine」を開発・詳細化する。 - NLPを用いて指示を処理し、IAペアを自動生成する。

- パイロットデータ収集として、様々な目的地への運転を通じてGPS音声指示を収集し、分類した。 - 収集した指示を8つの分類に特徴づけ、コマンドと参照性の多様性を示した。 - ビデオデータと組み合わせて完全なvision-language-actionトライアドを形成できることを実証した。 - 具体的な定量的評価や比較実験は要旨からは不明。

- GPS参照を用いたIAデータペアの自動化により、高品質なIAデータセットの作成速度と量を増加させ、コストを最小化できる可能性がある。 - これにより、vision-language navigation（VLN）や人間と対話する自動運転システムのタスクに頑健なvision-language-action（VLA）モデルを提供できる道が開ける。 - 制限や課題については要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、vision-language-action（VLA）モデル、vision-language navigation（VLN）、自動運転向けのinstruction-actionデータセットに関する研究が次に読むべき候補として考えられる。 - 具体的な論文名は要旨からは不明。