日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2605.05373

隠れ状態は価値勾配である:リカレント方策のポントリャーギン構造

Hidden States as Value Gradients: The Pontryagin Structure of Recurrent Policies

シェア:XThreadsFacebookLINEはてブBluesky

リカレント方策の隠れ状態がポントリャーギンの最小原理における随伴状態(価値関数の勾配)として解釈できることを示し、それを活用した随伴損失で歩行タスクの方策を改善した。

詳しい要約

1. どんなもの?

- リカレントポリシーの隠れ状態を制御理論的に解釈 - Pontryaginの最小原理におけるco-stateの役割を果たすと示す - 隠れ状態は価値関数の勾配を追跡し、最適性構造を符号化 - co-state policies (CPs) というクラスを定式化 - 現代のリカレントセルが暗黙的にこの構造を実現していることを示す

2. 先行研究と比べてどこがすごい?

- 従来のリカレントポリシーは観測履歴を圧縮するが、その内部計算の解釈は不明確 - 本研究は隠れ状態がco-stateとして機能することを初めて制御理論的に定式化 - 既存のリカレントセルが暗黙的にこの構造を実現していることを明らかにした点が新しい - アクター・クリティック訓練にco-state lossを導入し、隠れ状態を最適性に導く仕組みを提供

3. 技術・手法の肝は?

- 隠れ状態をPontryaginの最小原理のco-stateと対応付ける - 読み出しが制御ハミルトニアン最小化を実装 - co-state policies (CPs) のクラスを定義 - アクター・クリティック訓練で、クリティックの勾配をアクターの隠れ状態のターゲットとするco-state lossを提案 - これにより隠れ状態が環境状態から線形デコード可能な以上のco-state情報を符号化

4. どうやって有効だと検証した?

- 挑戦的なlocomotionタスク(H1とBerkeley humanoidsを含む)で評価 - co-state lossで訓練した隠れ状態が、環境状態から線形デコード可能な以上のco-state情報を符号化することを確認 - この損失がCPsクラス内外のポリシーを改善することを実証

5. 議論はある?

- 隠れ状態が価値関数の勾配を追跡するという解釈の妥当性 - co-state lossが最適性にどの程度寄与するか - 他のリカレントセルやタスクへの一般化可能性 - 制御理論とリカレントメモリの接続の意義 - 要旨からは不明な点も多い

6. 次に読むべき論文は?

- Pontryagin's minimum principleに関する文献 - リカレントポリシー(例:LSTM, GRU) - アクター・クリティック手法 - 連続制御のためのリカレントモデル - ヒューマノイドロボットのlocomotionタスク(H1, Berkeley humanoids)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: David Leeftink, Max Hinne, Marcel van Gerven

分類: cs.LG

原文アブストラクト

A key capability of intelligent agents is to act effectively under incomplete state observations. Recurrent policies address this by compressing observation histories into a hidden state. In this work, we show that the hidden state of a recurrent policy admits a control-theoretic interpretation: it plays the role of the co-state in Pontryagin's minimum principle, and the readout that maps it to actions implements control-Hamiltonian minimization. The hidden state thus tracks the gradient of the value function, encoding the optimality structure of the underlying control problem. We formalize this correspondence through a class of policies we refer to as co-state policies (CPs) and show that several modern recurrent cells implicitly realize this structure. The correspondence also allows for a co-state loss for actor-critic training, in which the critic's gradient serves as a target for the actor's hidden state. Empirically, we find that hidden states trained with the co-state loss encode co-state information beyond what is linearly decodable from the environment state alone, and that the loss improves policies both within and outside this class on challenging locomotion tasks, including the H1 and Berkeley humanoids. By connecting the minimum principle to recurrent memory, we provide a control-theoretic account of what hidden states compute in continuous control and a mechanism for shaping them toward optimality.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI