マルチモーダルなシーン理解による長距離ナビゲーションシステムMOSU2

公共屋外空間を長距離移動するロボット向けの長距離ナビゲーションシステム。GPS-based route planningで経路を取得し、二段階のtrajectory selectionで候補軌道を選ぶ。第一段階のcontextual reasoningが追加evidenceの必要性と取得内容を判断し、未解決のinteractionがある場合のみ第二段階でgeometric/dynamic情報を取得してscene contextと整合させ、歩行者・自転車・車両・信号・一時的規制に対応する。

単一画像の前身MOSUと比較し、実世界実験でmean navigation successを61.8%から94.2%、condition-detection accuracyを72.2%から91.4%へ向上。VLMはmetric geometryやmotionのない画像で推論する問題、毎ステップevidence供給の遅さ、hand-crafted triggersがopen-endedな状況を予測できない問題に対処。mean decision latencyは約2.2倍。

二段階trajectory selectionが肝。第一段階のcontextual reasoningがいつ・何の追加evidenceが必要かを判断し、interactionが未解決な場合のみ第二段階をtriggerしてgeometric/dynamic情報を取得しscene contextとalign。MOSUを基盤にGPS-based route planningの経路に従い、multi-modal traversability analysisで候補trajectoryをfilterして選択する。

stop gestures、construction sites、crosswalks、車両・自転車・歩行者と共有するroadsを含む実世界実験で検証。mean navigation success 61.8%→94.2%、condition-detection accuracy 72.2%→91.4%を単一画像の前身と比較して示し、mean decision latencyは約2.2倍と報告。

mean decision latencyが約2.2倍に増加する点がトレードオフとして挙げられる。二段階triggerにより不要なevidence取得を抑える設計だが、遅延と成功率のバランスに関する議論は要旨からは不明。実世界実験の規模や被験条件の詳細も要旨からは不明。

前身のMOSU、およびVLMをナビゲーションに用いる関連研究。具体的な参照論文は要旨からは不明のため、同分野の定番としてvision-language navigationやtrajectory selection、traversability analysisの研究を挙げる。