日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2610.14042

高品質な状態推定なしでの実ロボット相互作用による強化学習

Reinforcement Learning from Real-Robot Interaction without High-Quality State Estimates

シェア:XThreadsFacebookLINEはてブBluesky

二足歩行ロボットがサッカーボールをゴールに入れる接触の多いタスクにおいて、外部計測なしでオンボードセンシングのみを用い、RSSMで状態表現を学習するRSSM-RLPDを提案し、30分の実世界相互作用で100%の成功率を達成した。

詳しい要約

1. どんなもの?

- 二足歩行ロボットがサッカーゴールを決める接触豊富なタスクを、実世界の物理経験から強化学習(RL)する研究。 - 外部計測装置(モーションキャプチャや天井カメラ)を使わず、オンボードセンシングのみで状態推定を行う。 - 状態推定にはunscented Kalman filter (UKF)を用い、ボールが観測されない場合の推定誤差に対処するため、recurrent state-space model (RSSM)で新たな状態表現を学習。 - RSSMの潜在状態はボールが観測されたときのみ修正する。 - RLPDを基にRSSM-RLPDを提案し、NAOロボットがサッカーボールをドリブルしてゴールに入れるタスクを学習。 - 30分の実世界インタラクション後、複数の開始位置からゴールを決められるようになり、成功率100%を達成(フィードフォワードポリシーは0%)。 - シミュレーション研究も行い、RSSM-RLPDがbehavior cloning、フィードフォワード、GRUベースラインより高い成功率を示す。

2. 先行研究と比べてどこがすごい?

- 従来のロボットRLは、計測された実験室環境外では状態が観測不能で、オンボード推定誤差がポリシー入力や報酬信号を損なう問題があった。 - 本研究は、外部計測装置なしで、部分観測性が高い実ロボットデータからRLを可能にする点が新しい。 - 既存のRLPDを拡張し、RSSMを組み合わせたRSSM-RLPDを導入。 - ボールが観測されたときのみRSSMの潜在状態を修正する点が特徴的。 - 実機実験で、同じ訓練予算のフィードフォワードポリシーが0%成功なのに対し、RSSM-RLPDは100%成功を達成。 - シミュレーションでもbehavior cloning、フィードフォワード、GRUベースラインを上回る成功率を示した。

3. 技術・手法の肝は?

- オンボードセンシングのみで、unscented Kalman filter (UKF)を用いて全ての主要状態変数を推定。 - UKFがボール未観測時に誤推定する可能性があるため、recurrent state-space model (RSSM)で新たな状態表現を学習。 - RSSMの潜在状態は、ボールが観測されたときのみ修正する(観測がないときは予測のみ)。 - RLPDを基盤とし、RSSMを統合したRSSM-RLPDを提案。 - タスクはNAOロボットがサッカーボールをドリブルしてゴールに入れること。 - 実世界インタラクション30分で学習。

4. どうやって有効だと検証した?

- 実機実験:NAOロボットがサッカーボールをドリブルしてゴールに入れるタスクを、複数の開始位置から30分の実世界インタラクションで学習。 - 成功率100%を達成(フィードフォワードポリシーは同じ訓練予算で0%)。 - シミュレーション研究:RSSM-RLPDがbehavior cloning、フィードフォワード、GRUベースラインより高い成功率を示す。 - これらの結果から、学習された状態表現の追加が、部分観測性が高い実ロボットデータからのRLを可能にすることを示した。

5. 議論はある?

- 要旨からは、議論や限界についての明示的な記述は不明。 - ただし、UKFがボール未観測時に誤推定する可能性がある点、RSSMの潜在状態をボール観測時のみ修正する設計が重要であることが示唆されている。 - 実世界とシミュレーションの両方で有効性が示されたが、他のタスクやロボットへの一般化については言及されていない。

6. 次に読むべき論文は?

- 要旨で参照されている研究:RLPD、behavior cloning、GRUベースライン、unscented Kalman filter (UKF)、recurrent state-space model (RSSM)。 - 関連手法として、部分観測性下でのRL(例:POMDPs)、モデルベースRL、状態推定とRLの統合に関する研究が挙げられる。 - 具体的な論文名は要旨に記載されていないため、同分野の定番として「RLPD: Reinforcement Learning with Prior Data」や「Dreamer: Dreaming to Learn」などが考えられるが、要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ryan Gao, Ashvin Anilkumar, Nicholas Corrado, William Cong, Josiah Hanna

分類: cs.RO, cs.AI

原文アブストラクト

A longstanding goal for robot reinforcement learning (RL) is that robots learn from their own physical experience, as humans and animals do. A key obstacle to learning directly from physical experience, especially outside instrumented lab environments, is that the state of the world is usually unobservable to the learner and must be estimated from on-board sensing. Errors in that estimate corrupt both the policy input and potentially the reward signal. We study this challenge using the contact-rich task of a bipedal robot learning to score soccer goals. We estimate all key state variables on-board with an unscented Kalman filter (UKF) and no external instrumentation (e.g., motion capture or overhead cameras). Because the UKF may incorrectly estimate state when the ball is unobserved, we learn a new state representation with a recurrent state-space model (RSSM) that, critically, only corrects the RSSM's latent state when the ball is observed. Building on RLPD, we introduce RSSM-RLPD and apply it to the task of a NAO robot learning to dribble a soccer ball into a goal. We show that the robot learns to score from multiple starting positions after 30 minutes of real-world interaction, reaching 100% success against 0% for a feed-forward policy under the same training budget. We complement our physical robot experiments with a simulation study and show that RSSM-RLPD learns policies that achieve a higher success rate than behavior cloning, a feed-forward, and GRU baseline. Taken together, our results show that the addition of a learned state representation to existing on-robot learning methods enables RL from real-robot data even with a high degree of partial observability.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI