オフライン事前学習とオンライン微調整を統合した強化学習によるロボットソーシャルナビゲーション
Integrating Offline Pre-Training with Online Fine-Tuning: A Reinforcement Learning Approach for Robot Social Navigation
因果TransformerにReturn-to-Go予測を組み込み、時空間融合モデルとハイブリッド経験サンプリングでオフライン学習からオンライン適応への分布シフトを抑え、人混みでのロボットナビゲーション性能を向上させた研究。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Run Su, Hao Fu, Shuai Zhou, Yingao Fu
分類: cs.RO, cs.AI
原文アブストラクト
Offline reinforcement learning (RL) has emerged as a promising framework for addressing robot social navigation challenges. However, inherent uncertainties in pedestrian behavior and limited environmental interaction during training often lead to suboptimal exploration and distributional shifts between offline training and online deployment. To overcome these limitations, this paper proposes a novel offline-to-online fine-tuning RL algorithm for robot social navigation by integrating Return-to-Go (RTG) prediction into a causal Transformer architecture. Our algorithm features a spatiotem-poral fusion model designed to precisely estimate RTG values in real-time by jointly encoding temporal pedestrian motion patterns and spatial crowd dynamics. This RTG prediction framework mitigates distribution shift by aligning offline policy training with online environmental interactions. Furthermore, a hybrid offline-online experience sampling mechanism is built to stabilize policy updates during fine-tuning, ensuring balanced integration of pre-trained knowledge and real-time adaptation. Extensive experiments in simulated social navigation environments demonstrate that our method achieves a higher success rate and lower collision rate compared to state-of-the-art baselines. These results underscore the efficacy of our algorithm in enhancing navigation policy robustness and adaptability. This work paves the way for more reliable and adaptive robotic navigation systems in real-world applications.
関連論文
- RESONATE: 自律サービスロボットのための実環境ソーシャルナビゲーション評価ベンチマークソーシャルナビゲーション
- Arena 5.0: ソーシャルナビゲーション開発・評価のためのフォトリアリスティックなROS2シミュレーションフレームワークソーシャルナビゲーション
- LiDARから直接制御する安全なソーシャルナビゲーションのためのマルチタスク強化学習と確率的知覚ソーシャルナビゲーション
- インターネット動画から方策状態空間でソーシャルナビゲーションを学習ソーシャルナビゲーション
- どこに加わるべきか?言語誘導型目標予測によるロボットのグループ参加ソーシャルナビゲーション
- PISHYAR: 視覚障害者向けの社会的インテリジェントなスマート杖による屋内ソーシャルナビゲーションとマルチモーダルな人間-ロボットインタラクションソーシャルナビゲーション
