日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2603.14887

ViSA: 訪問状態拡張による汎用ゴール空間コントラスト強化学習

ViSA: Visited-State Augmentation for Generalized Goal-Space Contrastive Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

ゴール条件付き強化学習におけるコントラスト学習の価値関数推定が限られたゴールにしか正確でない問題を解決するため、訪問状態を拡張するデータ拡張手法ViSAを提案し、シミュレーションと実ロボットで汎化性能を向上させた。

詳しい要約

1. どんなもの?

- Goal-Conditioned Reinforcement Learning (GCRL) の枠組みで、任意の目標に到達する policy を学習する。 - 特に Contrastive Reinforcement Learning (CRL) は、contrastive learning で value function を近似し、従来法より sample efficiency が高い。 - しかし CRL は学習中に visited state を pseudo-goal として扱うため、限られた goal に対してしか正確に value function を推定できない。 - この問題に対処するため、CRL 向けの新しい data augmentation 手法 ViSA (Visited-State Augmentation) を提案。 - ViSA は、on-policy exploration 中に visit しにくい state sample を増やす augmented state sample の生成と、mutual information に基づく目的関数の…

2. 先行研究と比べてどこがすごい?

- 従来の CRL は visited state を pseudo-goal として扱うため、限られた goal に対してのみ正確な value function 推定が可能であった。 - ViSA は data augmentation により、visit しにくい goal に対しても正確な value 推定を可能にし、goal-space generalization を改善する。 - 具体的な先行研究との比較数値は要旨からは不明。

3. 技術・手法の肝は?

- ViSA は 2 つのコンポーネントからなる。 - 1) on-policy exploration 中に visit しにくい state sample を増やす augmented state sample の生成。 - 2) augmented state を補助情報として用い、mutual information に基づいて embedding space の目的関数を再定式化し、embedding space を正則化する consistent embedding space の学習。 - これにより、hard-to-visit goal に対しても正確な value 推定が可能になる。

4. どうやって有効だと検証した?

- シミュレーションと実世界のロボティクスタスクで ViSA を評価。 - goal-space generalization の改善を示し、hard-to-visit goal に対して正確な value 推定が可能であることを確認。 - 詳細はプロジェクトページ (https://issa-n.github.io/projectPage_ViSA/) に記載。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Contrastive Reinforcement Learning (CRL) や Goal-Conditioned Reinforcement Learning (GCRL) が挙げられる。 - 同分野の定番として、Hindsight Experience Replay (HER) や Contrastive Learning を用いた強化学習手法が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Issa Nakamura, Tomoya Yamanokuchi, Yuki Kadokawa, Jia Qu, Shun Otsub, Ken Miyamoto, Shotaro Miwa, Takamitsu Matsubara

分類: cs.RO

原文アブストラクト

Goal-Conditioned Reinforcement Learning (GCRL) is a framework for learning a policy that can reach arbitrarily given goals. In particular, Contrastive Reinforcement Learning (CRL) provides a framework for policy updates using an approximation of the value function estimated via contrastive learning, achieving higher sample efficiency compared to conventional methods. However, since CRL treats the visited state as a pseudo-goal during learning, it can accurately estimate the value function only for limited goals. To address this issue, we propose a novel data augmentation approach for CRL called ViSA (Visited-State Augmentation). ViSA consists of two components: 1) generating augmented state samples, with the aim of augmenting hard-to-visit state samples during on-policy exploration, and 2) learning consistent embedding space, which uses an augmented state as auxiliary information to regularize the embedding space by reformulating the objective function of the embedding space based on mutual information. We evaluate ViSA in simulation and real-world robotic tasks and show improved goal-space generalization, which permits accurate value estimation for hard-to-visit goals. Further details can be found on the project page: https://issa-n.github.io/projectPage_ViSA/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI