日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2604.07945

実世界学習に向けた漸進的残差強化学習による社会的ナビゲーション

Incremental Residual Reinforcement Learning Toward Real-World Learning for Social Navigation

シェア:XThreadsFacebookLINEはてブBluesky

エッジデバイス上で軽量に動作する漸進的残差強化学習(IRRL)を提案し、シミュレーションと実世界実験で未知環境への適応を実証した。

詳しい要約

1. どんなもの?

- 社会ナビゲーションのための実世界強化学習手法であるincremental residual reinforcement learning (IRRL)を提案する研究。 - モバイルロボットが歩行者動態や社会規範の異なる実環境で適応することを目指す。 - エッジデバイス上の計算資源制約と学習効率の課題に対処する。

2. 先行研究と比べてどこがすごい?

- 従来のreplay bufferベースの手法と比較して、replay bufferなしでも同等の性能を達成。 - 既存のincremental learning手法を上回る性能を示す。 - 実世界学習により、未見環境への適応を可能にする点が優れている。

3. 技術・手法の肝は?

- incremental learningとresidual RLを統合。 - incremental learningはreplay bufferやbatch updatesを必要としない軽量プロセス。 - residual RLはbase policyに対する残差のみを訓練し、学習効率を向上させる。

4. どうやって有効だと検証した?

- シミュレーション実験で、replay bufferなしでも従来のreplay bufferベース手法と同等の性能を達成し、既存のincremental learning手法を上回ることを示した。 - 実世界実験で、IRRLが未見環境への適応を可能にすることを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の関連手法として、replay bufferベースの深層強化学習、incremental learning、residual RLが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haruto Nagahisa, Kohei Matsumoto, Yuki Tomita, Yuki Hyodo, Ryo Kurazume

分類: cs.RO, cs.AI

原文アブストラクト

As the demand for mobile robots continues to increase, social navigation has emerged as a critical task, driving active research into deep reinforcement learning (RL) approaches. However, because pedestrian dynamics and social conventions vary widely across different regions, simulations cannot easily encompass all possible real-world scenarios. Real-world RL, in which agents learn while operating directly in physical environments, presents a promising solution to this issue. Nevertheless, this approach faces significant challenges, particularly regarding constrained computational resources on edge devices and learning efficiency. In this study, we propose incremental residual RL (IRRL). This method integrates incremental learning, which is a lightweight process that operates without a replay buffer or batch updates, with residual RL, which enhances learning efficiency by training only on the residuals relative to a base policy. Through the simulation experiments, we demonstrated that, despite lacking a replay buffer, IRRL achieved performance comparable to those of conventional replay buffer-based methods and outperformed existing incremental learning approaches. Furthermore, the real-world experiments confirmed that IRRL can enable robots to effectively adapt to previously unseen environments through the real-world learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI