日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2607.00796

視覚強化学習の汎化のためのタスク関連表現の分離

Task-Relevant Representation Decoupling for Visual Reinforcement Learning Generalization

シェア:XThreadsFacebookLINEはてブBluesky

視覚強化学習の汎化性能向上のため、観測をタスク関連・非関連表現に分離する自己教師ありアルゴリズムT2RDを提案した。

詳しい要約

1. どんなもの?

本論文は、Visual Reinforcement Learning (VRL) におけるポリシーの汎化性能向上を目的とし、観測をタスク関連表現とタスク非関連表現に分離する自己教師ありアルゴリズム Task-Relevant Representation Decoupling (T2RD) を提案する。T2RD は、タスク関連表現の一貫性、相互再構成、相互動的予測の3つの要素から構成され、コンテンツとスタイルの特徴を分離しつつ、動的予測によりタスク関連特徴を抽出する。DeepMind Control Suite と Robotic Manipulation タスクで SOTA の汎化性能とサンプル効率を達成した。

2. 先行研究と比べてどこがすごい?

従来の VRL の汎化手法は、観測全体からタスク非関連な特徴を除去するためにデータ拡張や補助タスクを用いるが、タスク関連表現を明示的に分離するものではなかった。T2RD は、観測をタスク関連と非関連に明示的に分離する概念を導入し、相互再構成と相互動的予測を組み合わせることで、従来手法よりもタスク関連特徴を精緻に抽出し、汎化性能とサンプル効率を向上させた点が新しい。

3. 技術・手法の肝は?

T2RD は3つの損失から構成される。1) タスク関連表現の一貫性: 同一状態の異なるスタイル(外観)から抽出されるタスク関連表現を一致させる。2) 相互再構成: タスク関連表現とタスク非関連表現を交換して観測を再構成することで、両者の分離を促進する。3) 相互動的予測: タスク関連表現を用いて将来のタスク関連表現を予測し、タスク非関連表現の影響を排除することで、タスク関連表現が環境のダイナミクスを捉えるようにする。これらを組み合わせて自己教師ありで表現を学習する。

4. どうやって有効だと検証した?

DeepMind Control Suite の複数のタスク(例: Walker, Cheetah, Finger)と Robotic Manipulation タスクにおいて、トレーニング環境とは異なる環境(背景やロボットの外観を変更)での汎化性能を評価した。既存の VRL 手法(例えば DrQ, RAD, CURL など)と比較し、T2RD が SOTA の汎化性能とサンプル効率を達成することを示した。

5. 議論はある?

要旨からは、T2RD の限界や議論についての詳細は不明。ただし、タスク関連表現の定義がタスクに依存するため、タスク非関連な特徴の分離が不完全な場合や、動的予測が複雑な環境で困難になる可能性が考えられるが、要旨では言及されていない。

6. 次に読むべき論文は?

要旨で参照されている関連手法としては、データ拡張を用いた VRL 手法(DrQ, RAD)や、補助タスクを用いた手法(CURL)が挙げられる。また、表現分離の概念は、画像生成やドメイン適応の分野の手法(例えば、Content-Style Disentanglement)と関連する。次に読むべき論文としては、これらの手法の詳細や、VRL の汎化に関するサーベイ論文が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinwen Wang, Youfang Lin, Xiaobo Hu, Qian Xu, Shuo Wang, Zhuo Chen, Kai Lv

分類: cs.LG

原文アブストラクト

Visual Reinforcement Learning (VRL) has achieved considerable success in solving control tasks. However, generalizing learned policies to new environments remains a major challenge, as agents often overfit to task-irrelevant features in the training environment. To solve this problem, we introduce the concept of decoupling observations into task-relevant and task-irrelevant representations. Building on this idea, we propose a self-supervised Task-Relevant Representation Decoupling (T2RD) algorithm for VRL. This algorithm consists of three components: task-relevant representation consistency, cross-reconstruction, and cross-dynamic prediction. The first two components achieve the decoupling of content and style features, but the resulting content representations are not necessarily task-relevant. To further refine task-relevant features from content representations, we design the third component that introduces dynamic prediction. T2RD achieves State-Of-The-Art (SOTA) generalization performance and sample efficiency in the DeepMind Control Suite and Robotic Manipulation tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI