オフライン強化学習/自動運転2025/4/1arXiv:2504.08704

遮蔽された横断歩道における自動緊急ブレーキのための人間整合報酬ラベリングを用いたオフライン強化学習

Offline Reinforcement Learning using Human-Aligned Reward Labeling for Autonomous Emergency Braking in Occluded Pedestrian Crossing

シェア:X Threads Facebook LINE はてブ Bluesky

実走行データに人間の判断に沿った報酬ラベルを自動生成し、遮蔽歩行者横断シーンでの自動緊急ブレーキをオフライン強化学習で訓練する手法を提案した。

詳しい要約

1. どんなもの？

- 本論文は、実世界の運転データセットに意味のある報酬ラベルを付与する新しい手法を提案する。 - 特に、隠れた歩行者の横断シーンにおける自動緊急ブレーキ（Autonomous Emergency Braking）を対象とし、人間の判断と安全考慮を反映した報酬ラベルを生成する。 - 生成した報酬ラベルを用いてOffline Reinforcement Learningアルゴリズムを訓練し、有効性を検証する。

2. 先行研究と比べてどこがすごい？

- 既存の実世界データセットの多くは意味のある報酬ラベルを欠いており、Offline Reinforcement Learningの訓練が困難であった。 - 提案手法は、人間の判断と安全考慮を反映した報酬ラベルを生成することで、この問題に対処する。 - 特に、semantic segmentation mapsを分析して適応的な安全コンポーネントを活性化し、潜在的な衝突シナリオで安全性を効率性より優先させる点が新しい。 - 人間注釈者が見逃した不安全状態をフラグ付けできる可能性を示した。

3. 技術・手法の肝は？

- 報酬関数は、semantic segmentation mapsを分析することで適応的な安全コンポーネントを活性化する。 - これにより、潜在的な衝突シナリオにおいて自動運転車が効率性よりも安全性を優先できるようにする。 - 生成された報酬ラベルは、人間の判断と安全考慮を反映するように設計されている。 - 具体的なアルゴリズムの詳細は要旨からは不明。

4. どうやって有効だと検証した？

- 歩行者の交通量が異なる隠れた歩行者の横断シーンをシミュレーションで再現し、生成報酬を用いて様々なOffline Reinforcement Learningアルゴリズムを訓練したところ、各モデルが意味のあるポリシーを生成した。 - Audi Autonomous Driving Datasetのサブセットに適用し、生成した報酬ラベルを人間が注釈した報酬ラベルと比較した。 - その結果、両者には中程度の不一致があり、提案手法が人間注釈者の見逃した不安全状態をフラグ付けした。

5. 議論はある？

- 生成報酬ラベルと人間注釈報酬ラベルの間には中程度の不一致があることが示された。 - 提案手法が人間注釈者の見逃した不安全状態をフラグ付けしたことは興味深いが、その理由や影響についての詳細な議論は要旨からは不明。 - 報酬ラベルの品質や一般化可能性に関する議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていないが、関連手法としてOffline Reinforcement Learning、Audi Autonomous Driving Dataset、semantic segmentation、Autonomous Emergency Brakingに関する論文が挙げられる。 - 同分野の定番として、Offline Reinforcement Learningの代表的手法（例：CQL, BCQ, IQL）や、自動運転向けの報酬設計に関する研究を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Vinal Asodia, Barkin Dagda, Yinglong He, Zhenhua Feng, Saber Fallah

分類: cs.RO, cs.LG

原文アブストラクト

Effective leveraging of real-world driving datasets is crucial for enhancing the training of autonomous driving systems. While Offline Reinforcement Learning enables training autonomous vehicles with such data, most available datasets lack meaningful reward labels. Reward labeling is essential as it provides feedback for the learning algorithm to distinguish between desirable and undesirable behaviors, thereby improving policy performance. This paper presents a novel approach for generating human-aligned reward labels. The proposed approach addresses the challenge of absent reward signals in the real-world datasets by generating labels that reflect human judgment and safety considerations. The reward function incorporates an adaptive safety component that is activated by analyzing semantic segmentation maps, enabling the autonomous vehicle to prioritize safety over efficiency in potential collision scenarios. The proposed method is applied to an occluded pedestrian crossing scenario with varying pedestrian traffic levels, using simulation data. When the generated rewards were used to train various Offline Reinforcement Learning algorithms, each model produced a meaningful policy, demonstrating the method's viability. In addition, the method was applied to a subset of the Audi Autonomous Driving Dataset, and the reward labels were compared to human-annotated reward labels. The findings show a moderate disparity between the two reward sets, and, most interestingly, the method flagged unsafe states that the human annotator missed.

arXivで原文を読む →arXiv概要ページ

← 論文一覧