言語条件付き運転2026/10/19arXiv:2610.26390

Cartender：取らなかった運転を学習し検証可能な言語条件付き運転を実現

Cartender: Verifiable Language-Conditioned Driving by Learning the Drives Not Taken

実記録から反事実的な分岐（代替の未来と指示）を生成し、言語と場面の整合性を学習して軌道生成を制御する言語条件付き運転手法を提案。

詳しい要約

1. どんなもの？

- 言語条件付き運転ポリシー Cartender を提案する研究。 - 運転は one-to-many であり、log には実際に取られた行動しか残らず、代替の実行可能行動や指示への直接教師信号がない問題を扱う。 - 言語を無視するポリシーと言語に従うが scene 制約を無視するポリシーが同一データに fit しうる点を出発点とする。 - 『取られなかった運転 (drives not taken)』から学習する枠組み。 - 評価は WOD-E2E 上で実施。

2. 先行研究と比べてどこがすごい？

- 同一 backbone の matched-only imitation と比較し、same-scene paired instruction success を 23.67% から 57.00% へ改善。 - RFS も 6.32 から 7.10 へ向上。 - gate により infeasible-instruction execution を 53.36% から 14.18% へ低減。 - 記録済み log のみを教師とする模倣では得られない、代替行動・不支持指示の supervision を simulator なしで構成する点が特徴。 - 指示追従を生成 target との一致ではなく、同一入力下での instruction swap による挙動で評価する点も従来と異なる。

3. 技術・手法の肝は？

- Counterfactual Branching: simulator なしで実記録から matched / mismatched な instruction-action pair を構成。 - vision-language model が代替 future とそれを選択する instruction を提案し、unsupported instruction を negative label として利用。 - 学習した scene-language compatibility score で trajectory generation の language conditioning を制御。 - reward-trained language residual が scene-based score 上で生成候補を re-rank。 - branch は訓練にのみ使用し、評価は記録入力下での instruction swap で行う。

4. どうやって有効だと検証した？

- WOD-E2E 上で、3,603 の feasible instruction condition に対し 4 proposal の best が RFS 8.642。 - 8,974 の admitted proposal で mean RFS 8.203、matched logged trajectory の 7.906 を上回り、67% が logged counterpart より高い score。 - 同一 backbone の matched-only imitation との比較で same-scene paired instruction success 23.67%→57.00%、RFS 6.32→7.10。 - gate の効果として infeasible-instruction execution 53.36%→14.18% を報告。

5. 議論はある？

- 要旨からは不明（限界や失敗事例、計算コスト、VLM 提案の品質依存性などは明示されていない）。 - 評価が WOD-E2E 上の数値に基づく点、instruction swap による挙動評価の妥当性については要旨からは不明。 - negative label としての unsupported instruction の扱いや re-ranking の寄与分解は要旨からは不明。

6. 次に読むべき論文は？

- matched-only imitation（本論文の比較対象） - vision-language model を用いた counterfactual / alternative future 生成の関連研究 - language-conditioned driving policy および instruction following の評価手法 - trajectory generation における re-ranking / reward model 関連手法 - WOD-E2E ベンチマーク関連論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhiwen Chen, Benjin Zhu, Yan Xie, Jun Ma

分類: cs.RO

原文アブストラクト

Every driving scene is logged once, but driving is one-to-many: the scene determines which behaviors are feasible, while an instruction selects among them. A log records only the action taken, leaving no direct supervision for alternative feasible actions or instructions the scene cannot support. Consequently, a policy that ignores language and one that follows it without regard to scene constraints can fit the same data. We present Cartender, which learns from the drives not taken. Counterfactual Branching constructs matched and mismatched instruction-action pairs from real recordings without a simulator: a vision-language model proposes alternative futures and their selecting instructions, while unsupported instructions provide negative labels. A learned scene-language compatibility score regulates language conditioning in trajectory generation, and a reward-trained language residual re-ranks generated candidates over a scene-based score. The branches are used for training; instruction following is evaluated by swapping instructions under identical recorded inputs and measuring behavior rather than agreement with generated targets. On WOD-E2E, the best of four proposals achieves an RFS of 8.642 across 3,603 feasible instruction conditions. Across 8,974 admitted proposals, mean RFS is 8.203 versus 7.906 for matched logged trajectories, and 67% score higher than their logged counterpart. Compared with matched-only imitation using the same backbone, Cartender improves same-scene paired instruction success from 23.67% to 57.00% and RFS from 6.32 to 7.10; its gate reduces infeasible-instruction execution from 53.36% to 14.18%.

arXivで原文を読む →arXiv概要ページ

← 論文一覧