日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2608.05989

観測に基づく自己予測強化学習による視覚連続制御

Observation-Grounded Self-Predictive Reinforcement Learning for Visual Continuous Control

シェア:XThreadsFacebookLINEはてブBluesky

視覚ベースの連続制御タスクにおいて、潜在空間での自己予測と観測空間での予測を組み合わせた新しい表現学習手法を提案し、サンプル効率を向上させた。

詳しい要約

1. どんなもの?

ピクセルからの強化学習(RL)におけるサンプル効率的な方策学習を目指した、モデルフリーの視覚的連続制御アルゴリズムであるObservation-Grounded Self-Predictive Representations (OG-SPR)を提案する。OG-SPRは、潜在空間での時間的予測(自己予測)と観測空間での次観測予測の両方を補助目的として組み合わせ、表現学習を行う。

2. 先行研究と比べてどこがすごい?

従来の動的モデルに基づく表現学習手法は、潜在空間での自己予測または観測空間での観測予測のいずれか一方のみを用いていた。OG-SPRは両者を統合し、観測予測が表現を観測レベルの動的構造に接地する一方、潜在自己予測が長期的な時間的予測可能性を直接正則化するという相補的な利点を活かす。さらに、共有表現に直接自己予測を課すと過度に制約し性能が向上しないという問題を特定し、軽量なアダプタを導入してこの問題を解決した点が新しい。

3. 技術・手法の肝は?

OG-SPRは、モデルフリーの視覚RLアルゴリズムであり、2つの補助目的を組み込む。1つは多段階の潜在自己予測、もう1つは次観測予測である。重要な工夫として、潜在自己予測を共有表現に直接課すのではなく、2つの軽量アダプタを導入し、共有表現が自己予測目的を直接満たすことなく時間的予測信号の恩恵を受けられるようにする。これにより、表現の過度な制約を防ぐ。

4. どうやって有効だと検証した?

DeepMind Control Suiteの28の視覚的制御タスクで実験を行い、既存の自己予測型および観測予測型の最先端RL手法と比較して、総合性能が向上することを示した。特に、dogやhumanoidなどの困難なドメインで顕著な改善が見られた。

5. 議論はある?

要旨からは、潜在自己予測を共有表現に直接課すと過度に制約されるという問題が議論されている。また、観測予測と潜在自己予測の組み合わせが有効である一方、その相互作用やアダプタの設計に関する詳細な分析は要旨からは不明である。

6. 次に読むべき論文は?

要旨で参照されている関連手法として、潜在空間での自己予測を行う手法(例: SPR)や観測空間での観測予測を行う手法(例: SVG, Dreamer)が挙げられる。具体的な論文名は要旨に明記されていないが、dynamics-based representation learning methodsの文脈でこれらの手法が比較対象となっている。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinwei Liu, Junyuan Liang, Jianting Zhang, Wuhui Chen

分類: cs.LG, cs.RO

原文アブストラクト

Sample-efficient policy learning from pixels is a long-standing challenge in reinforcement learning (RL). Recent dynamics-based representation learning methods have significantly improved the sample efficiency of model-free visual RL by learning dynamics-aware representations through auxiliary prediction performed either in latent space (self-prediction) or observation space (observation prediction). However, state-of-the-art methods from both categories still struggle on challenging visual control tasks when training data is limited. We posit that relying on either predictive objective alone may be insufficient. In contrast, observation prediction grounds learned representations in observation-level dynamics, but does not directly regularize the temporal predictability of latent representations over extended horizons. In this paper, we propose Observation-Grounded Self-Predictive Representations (OG-SPR), a model-free visual RL algorithm for continuous control that learns representations that are both temporally predictive in latent space and grounded in observation-level dynamics. OG-SPR incorporates two core auxiliary objectives: multi-step latent self-prediction and next-observation prediction. We empirically show that directly imposing latent self-prediction on the shared representation may over-constrain it and does not necessarily improve performance. To address this issue, OG-SPR introduces two lightweight adapters for latent self-prediction, allowing the shared representation to benefit from temporally predictive signals without being forced to directly satisfy the self-prediction objective. Experiments on 28 visual control tasks from the DeepMind Control Suite show that OG-SPR improves aggregate performance over state-of-the-art self-predictive and observation-predictive RL methods, with particularly pronounced gains in challenging domains such as dog and humanoid.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI