日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2605.06470

基礎方針を用いた多段階計画のための到達時間同型性

Hitting Time Isomorphism for Multi-Stage Planning with Foundation Policies

シェア:XThreadsFacebookLINEはてブBluesky

オフライン強化学習において、到達時間観測から制御マルコフ過程の有向時間幾何を復元する新しい作用素論的表現学習フレームワークを提案し、基礎方針学習アルゴリズムIELを開発した。

詳しい要約

1. どんなもの?

- オフライン強化学習のための新しい表現学習フレームワーク - 制御マルコフ過程の有向時間幾何をhitting time観測から復元 - ヒルベルト空間の変位幾何を学習し、期待hitting timeを潜在変位の線形汎関数として実現 - 有限次元実装で誤差解析と有限サンプル保証を提供 - 理論に基づくIsomorphic Embedding Learning (IEL)アルゴリズムを提案 - オフライン迷路ナビゲーションデータから基盤ポリシーを学習

2. 先行研究と比べてどこがすごい?

- 先行研究は対称距離を生成したり三角不等式を満たさないことが多い - 本フレームワークは有向時間幾何を学習し、期待hitting timeを線形汎関数として表現 - 潜在線形閉包の下で表現の存在を証明し、有界線形同型を除いて一意に識別可能 - 大域的hitting time誤差が一段遷移誤差と環境の過渡スペクトル半径で抑えられることを証明 - 近似、統計的複雑さ、軌道ラベルミスマッチを考慮した有限サンプル保証を提供 - 非対称で合成的な構造により、長地平ナビゲーションのための堅牢なグラフベース多段階計画を可能に

3. 技術・手法の肝は?

- 演算子理論的表現学習フレームワーク - ヒルベルト空間の変位幾何を学習し、期待hitting timeを線形汎関数として実現 - 潜在線形閉包の下で表現の存在と一意識別可能性を証明 - 有限次元実装で大域的hitting time誤差を一段遷移誤差と過渡スペクトル半径でバウンド - 近似、統計的複雑さ、軌道ラベルミスマッチを考慮した有限サンプル保証 - Isomorphic Embedding Learning (IEL)アルゴリズム:HILPスタイルの一貫性目的に明示的なhitting time回帰を組み合わせ - 非対称で合成的な構造を活用し、グラフベース多段階計画を実現

4. どうやって有効だと検証した?

- オフライン迷路ナビゲーションデータから基盤ポリシーを学習する実験 - IELがオフライン迷路ナビゲーションデータからの基盤ポリシー学習の最先端を改善することを実証 - コードはhttps://github.com/MagnusBoock/IELで公開

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- HILP-style consistency objective - オフライン強化学習における表現学習 - 基盤ポリシー学習 - 多段階計画 - 迷路ナビゲーション

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Magnus Victor Boock, Abdullah Akgül, Mustafa Mert Çelikok, Melih Kandemir

分類: cs.LG

原文アブストラクト

We present a new operator-theoretic representation learning framework for offline reinforcement learning that recovers the directed temporal geometry of a controlled Markov process from hitting time observations. While prior art often produces symmetric distances or fails to satisfy the triangle inequality, our framework learns a Hilbert-space displacement geometry where expected hitting times are realized as linear functionals of latent displacements. We prove that this representation exists under latent linear closure and is uniquely identifiable up to a bounded linear isomorphism. For finite-dimensional implementations, we show that global hitting-time error is bounded by one-step transition error amplified by the environment's transient spectral radius. Furthermore, we provide finite-sample guarantees accounting for approximation, statistical complexity, and trajectory-label mismatch. Derived from this theory, we curate Isomorphic Embedding Learning (IEL) as a new goal-agnostic foundation policy learning algorithm that anchors a HILP-style consistency objective with explicit hitting-time regression to ensure that the learned geometry reflects actual decision-time progress. This asymmetric and compositional structure enables robust graph-based multi-stage planning for long-horizon navigation. Our experiments demonstrate that IEL improves the state of the art of learning foundation policy policies from offline maze locomotion data. Our code can be found on https://github.com/MagnusBoock/IEL

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI