日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2603.17947

統一ポリシー価値分解による迅速な適応

Unified Policy Value Decomposition for Rapid Adaptation

シェア:XThreadsFacebookLINEはてブBluesky

ポリシーと価値関数が低次元の目標埋め込みを共有する枠組みを導入し、事前学習で二線形分解を行い、テスト時には勾配更新なしで即座に新しいタスクへ適応する手法を提案した。

詳しい要約

1. どんなもの?

- 強化学習における複雑な制御系の迅速な適応を目指すフレームワーク。 - policyとvalue関数が低次元の係数ベクトル(goal embedding)を共有し、タスク識別を捉える。 - 再学習なしで新規タスクに即時適応可能。 - 事前学習ではbilinear actor-critic分解を通じて構造化されたvalue basesと互換性のあるpolicy basesを同時学習。 - テスト時にはbasesを凍結し、goal embeddingをzero-shotで推定。

2. 先行研究と比べてどこがすごい?

- Successor Featuresを基盤に、actorにも分解を拡張。 - 従来はcriticのみの分解が主流だったが、actorも同じ係数でprimitive policiesを重み付け合成。 - 新規タスクへの適応に勾配更新が不要で、単一のforward passでgoal embeddingを推定。 - 高次元制御における迅速かつ構造化された適応を実現。

3. 技術・手法の肝は?

- bilinear actor-critic分解を採用。 - criticはQ = sum_k G_k(g) y_k(s,a)と因子分解。G_k(g)はgoal-conditioned係数ベクトル、y_k(s,a)は学習されたvalue basis関数。 - この乗法的ゲーティングはLayer 5 pyramidal neuronsのgain modulationに類似。 - actorも同じ係数G_k(g)でprimitive policiesを重み付け合成。 - テスト時はbasesを凍結し、G_k(g)をzero-shotで推定。

4. どうやって有効だと検証した?

- MuJoCo Ant環境で多方向移動タスクを設定。 - 8方向を連続goalベクトルとして指定。 - Soft Actor-Criticエージェントを訓練。 - bilinear構造により各policy headが方向のサブセットに特化し、共有係数層が一般化。 - 新規方向をgoal embedding空間での補間により対応。

5. 議論はある?

- 共有低次元goal embeddingが高次元制御における迅速で構造化された適応の一般的メカニズムを提供。 - 複雑な強化学習システムにおける効率的な転移の生物学的に妥当な原理を示唆。 - 具体的な限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- Successor Features - Soft Actor-Critic - MuJoCo Ant - Layer 5 pyramidal neuronsのgain modulationに関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Cristiano Capone, Luca Falorsi, Andrea Ciardiello, Luca Manneschi

分類: cs.LG, q-bio.NC

原文アブストラクト

Rapid adaptation in complex control systems remains a central challenge in reinforcement learning. We introduce a framework in which policy and value functions share a low-dimensional coefficient vector - a goal embedding - that captures task identity and enables immediate adaptation to novel tasks without retraining representations. During pretraining, we jointly learn structured value bases and compatible policy bases through a bilinear actor-critic decomposition. The critic factorizes as Q = sum_k G_k(g) y_k(s,a), where G_k(g) is a goal-conditioned coefficient vector and y_k(s,a) are learned value basis functions. This multiplicative gating - where a context signal scales a set of state-dependent bases - is reminiscent of gain modulation observed in Layer 5 pyramidal neurons, where top-down inputs modulate the gain of sensory-driven responses without altering their tuning. Building on Successor Features, we extend the decomposition to the actor, which composes a set of primitive policies weighted by the same coefficients G_k(g). At test time the bases are frozen and G_k(g) is estimated zero-shot via a single forward pass, enabling immediate adaptation to novel tasks without any gradient update. We train a Soft Actor-Critic agent on the MuJoCo Ant environment under a multi-directional locomotion objective, requiring the agent to walk in eight directions specified as continuous goal vectors. The bilinear structure allows each policy head to specialize to a subset of directions, while the shared coefficient layer generalizes across them, accommodating novel directions by interpolating in goal embedding space. Our results suggest that shared low-dimensional goal embeddings offer a general mechanism for rapid, structured adaptation in high-dimensional control, and highlight a potentially biologically plausible principle for efficient transfer in complex reinforcement learning systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI