日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/表現学習arXiv:2607.13498

強化学習のための因子分解スペクトル表現

Factorized Spectral Representations for Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

遷移カーネルを3モードテンソルとみなし、CP分解とノイズ対比学習で状態・行動・次状態のエンコーダを学習する手法FaStRを提案。表現学習に必要なサンプル数を削減し、高次元の移動タスクで効果を発揮する。

詳しい要約

1. どんなもの?

本論文は、深層強化学習におけるサンプル効率的な世界モデル学習のための表現学習手法 FaStR を提案する。遷移カーネルを状態・行動・次状態の3モードテンソルとみなし、CP分解により各モードの特徴マップ(状態エンコーダ、行動エンコーダ、次状態エンコーダ)を学習する。ノイズ対比目的関数を用いて分解を当てはめ、単一のスペクトル表現を構成する。

2. 先行研究と比べてどこがすごい?

従来のスペクトル表現法は遷移カーネルを行列とみなし、状態-行動対と次状態の間の低ランク分解を自己教師あり対比目的で学習していた。FaStRはこれを3モードテンソルに拡張し、CP分解により各モードの特徴マップを分離して学習する点が新しい。これにより仮説クラスが小さくなり、表現学習に必要なサンプルサイズが状態・行動次元の小さい方に比例して縮小する理論的利点がある。

3. 技術・手法の肝は?

手法の核は、遷移カーネルを3モードテンソルとみなしたCP分解をノイズ対比学習で当てはめること。具体的には、状態、行動、次状態の各エンコーダを導入し、それらの内積が遷移の非正規化密度を近似するように学習する。分解の因子構造により、各モードの表現が分離され、仮説クラスが制限される。

4. どうやって有効だと検証した?

高次元の locomotion タスク(運動制御)で実験し、特にダイナミクスが因子構造に整合するタスクで最大の性能向上を確認した。また、学習した状態エンコーダをアクチュエータの変更(actuator shift)に対して転移させ、行動エンコーダのみを再学習することで、状態表現が不変であることを示した。

5. 議論はある?

要旨からは、提案手法の利点が示される一方で、因子構造がダイナミクスに整合しないタスクでは利点が限定的である可能性が示唆される。また、理論的なサンプル複雑性の改善が実際の性能向上にどの程度寄与するかは、実験結果からは明確でない。さらに、CP分解のランク選択や、他の表現学習法との比較など、詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている先行研究として、スペクトル表現法(spectral representation methods)や、遷移カーネルの行列分解を用いた手法が挙げられる。具体的には、深層強化学習における対比学習を用いた表現学習(例えば、contrastive learning を用いた手法)や、低ランク遷移モデルに関する研究が関連する。次に読むべき論文としては、これらの基盤となった論文や、CP分解を用いたテンソル分解の応用研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junyi Wu, Dan Li

分類: cs.LG

原文アブストラクト

Learning a compact model of the world from interaction data is central to sample-efficient deep reinforcement learning. Spectral representation methods have become the leading paradigm for representation learning in continuous control by taking a matrix view of the transition kernel, with state-action pairs on one side and next states on the other, and learning a low-rank factorization through self-supervised contrastive objectives. We take this view one step further. The transition kernel is naturally a three-mode tensor over states, actions, and next states, and a CP decomposition gives one feature map per mode. We propose FaStR, which fits this decomposition with a noise contrastive objective, producing separate state, action, and next-state encoders that together form a single spectral representation. The factored form yields a smaller hypothesis class, and the sample size needed for representation learning shrinks by a factor that scales with the smaller of the state and action dimensions. Empirically, FaStR delivers its largest gains on high-dimensional locomotion tasks whose dynamics align with the factored structure, and the learned state encoder transfers intact across actuator shift while only the action encoder is retrained.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI