日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ソーシャルナビゲーションarXiv:2510.00466

オフライン事前学習とオンライン微調整を統合した強化学習によるロボットソーシャルナビゲーション

Integrating Offline Pre-Training with Online Fine-Tuning: A Reinforcement Learning Approach for Robot Social Navigation

シェア:XThreadsFacebookLINEはてブBluesky

因果TransformerにReturn-to-Go予測を組み込み、時空間融合モデルとハイブリッド経験サンプリングでオフライン学習からオンライン適応への分布シフトを抑え、人混みでのロボットナビゲーション性能を向上させた研究。

詳しい要約

1. どんなもの?

- ロボットの social navigation のための offline-to-online 強化学習アルゴリズム - Return-to-Go (RTG) 予測を causal Transformer に統合 - 時空間融合モデルで歩行者の時系列運動と群集空間ダイナミクスを同時エンコードし RTG をリアルタイム推定 - hybrid offline-online 経験サンプリングで fine-tuning を安定化 - 目的は offline 学習と online 展開間の distribution shift と探索不足の緩和

2. 先行研究と比べてどこがすごい?

- 従来の offline RL は歩行者行動の不確実性と環境相互作用の制約により探索が不十分で、offline と online の distribution shift が問題 - 提案法は RTG 予測を介して offline 方策学習と online 環境相互作用を整合させ distribution shift を緩和 - hybrid offline-online サンプリングで事前学習知識とリアルタイム適応を両立 - シミュレーションで state-of-the-art ベースラインより高い成功率・低い衝突率を報告

3. 技術・手法の肝は?

- causal Transformer アーキテクチャに Return-to-Go (RTG) 予測を統合 - spatiotemporal fusion model が歩行者の時間的運動パターンと空間的群集ダイナミクスを joint encoding し RTG をリアルタイム推定 - RTG 予測で offline 方策訓練と online 相互作用を整合させ distribution shift を軽減 - hybrid offline-online experience sampling により fine-tuning 中の方策更新を安定化

4. どうやって有効だと検証した?

- シミュレーションの social navigation 環境で広範な実験を実施 - state-of-the-art ベースラインと比較し、より高い success rate と低い collision rate を達成 - これによりナビゲーション方策の robustness と adaptability 向上を示す - 実機実験や詳細な ablation の有無は要旨からは不明

5. 議論はある?

- 提案法は distribution shift 緩和と fine-tuning 安定化に有効と主張 - 実世界応用に向けた信頼性・適応性向上への道筋を示すと述べる - 限界や失敗事例、計算コスト、実機展開の課題についての議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な既存研究名は不明 - 関連手法として offline RL、Return-to-Go (RTG) を用いる Decision Transformer、causal Transformer、social navigation の強化学習研究を挙げる - 同分野の定番として social navigation の RL ベースラインや群集シミュレーション環境の論文を次に読む候補とする

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Run Su, Hao Fu, Shuai Zhou, Yingao Fu

分類: cs.RO, cs.AI

原文アブストラクト

Offline reinforcement learning (RL) has emerged as a promising framework for addressing robot social navigation challenges. However, inherent uncertainties in pedestrian behavior and limited environmental interaction during training often lead to suboptimal exploration and distributional shifts between offline training and online deployment. To overcome these limitations, this paper proposes a novel offline-to-online fine-tuning RL algorithm for robot social navigation by integrating Return-to-Go (RTG) prediction into a causal Transformer architecture. Our algorithm features a spatiotem-poral fusion model designed to precisely estimate RTG values in real-time by jointly encoding temporal pedestrian motion patterns and spatial crowd dynamics. This RTG prediction framework mitigates distribution shift by aligning offline policy training with online environmental interactions. Furthermore, a hybrid offline-online experience sampling mechanism is built to stabilize policy updates during fine-tuning, ensuring balanced integration of pre-trained knowledge and real-time adaptation. Extensive experiments in simulated social navigation environments demonstrate that our method achieves a higher success rate and lower collision rate compared to state-of-the-art baselines. These results underscore the efficacy of our algorithm in enhancing navigation policy robustness and adaptability. This work paves the way for more reliable and adaptive robotic navigation systems in real-world applications.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI