日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

スキル発見arXiv:2511.03187

周期的スキル発見

Periodic Skill Discovery

シェア:XThreadsFacebookLINEはてブBluesky

状態を円形潜在空間に写像するエンコーダを学習し、歩行などに必要な多様な周期行動を教師なしで獲得する手法を提案。

詳しい要約

1. どんなもの?

- 強化学習(RL)における教師なしskill discoveryの新手法「Periodic Skill Discovery (PSD)」 - 外部報酬に頼らず多様な周期行動(periodic behaviors)を発見するフレームワーク - locomotionなど様々な時間スケールの周期行動を要するロボティクスタスクを動機とする - 状態を円形の潜在空間(circular latent space)に写像するencoderを学習 - 周期性を潜在表現に自然に埋め込む - pixel-based観測でも多様な周期のskillを学習可能と主張 - code/demos公開: https://jonghaepark.github.io/psd/

2. 先行研究と比べてどこがすごい?

- 既存の教師なしskill discoveryは学習skillの周期的性質を軽視 - stateとskillの相互依存(mutual dependence)の増大やlatent spaceでの移動距離最大化に注力 - PSDは周期性を明示的に扱う点が差分 - 円形潜在空間によりperiodicityを表現 - 時間的距離(temporal distance)を捉え、多様な周期のskillを獲得 - 既存skill discovery手法と統合すると挙動の多様性が増し、agentのrepertoireを拡張できると報告 - 具体的な比較対象手法名は要旨からは不明

3. 技術・手法の肝は?

- 核となるアイデア: 状態を円形潜在空間(circular latent space)へ写像するencoderの学習 - 円形構造により周期性を潜在表現に自然にencode - temporal distanceを捉えることで、複雑なロボティクスタスクでも多様な周期のskillを学習 - pixel-based観測にも適用可能 - 既存skill discovery手法と組み合わせ可能な枠組みとして設計 - encoderの具体的な損失設計や学習手順の詳細は要旨からは不明

4. どうやって有効だと検証した?

- 学習したskillを下流タスク(downstream tasks)で評価 - 例としてhurdlingで高性能を達成と報告 - 複雑なロボティクスタスクで多様な周期のskillを学習できることを示す - pixel-based観測設定での有効性も主張 - 既存skill discovery手法との統合により挙動の多様性が増えることを確認 - 定量指標・ベースライン・実験規模の詳細は要旨からは不明

5. 議論はある?

- 周期性を円形潜在空間で表現する設計の妥当性・限界は要旨からは不明 - 円形構造が表現できる周期の範囲や非周期行動への影響は議論されていない - pixel-based観測での性能やサンプル効率の詳細は要旨からは不明 - 既存手法との統合効果の一般性(どの手法に広く効くか)は要旨からは不明 - 下流タスク性能の評価範囲や比較の公平性は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている既存の教師なしskill discovery手法(具体的名称は要旨からは不明) - mutual dependence最大化系やlatent space距離最大化系のskill discovery - 統合対象として言及される「existing skill discovery method」の原論文 - 関連する定番として DIAYN, DADS などのunsupervised skill discovery - 周期性・時間スケールを扱う関連研究として、option discoveryやtemporal abstraction系の研究 - 公開コード/demos (https://jonghaepark.github.io/psd/) とその参照論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jonghae Park, Daesol Cho, Jusuk Lee, Dongseok Shim, Inkyu Jang, H. Jin Kim

分類: cs.LG, cs.RO

原文アブストラクト

Unsupervised skill discovery in reinforcement learning (RL) aims to learn diverse behaviors without relying on external rewards. However, current methods often overlook the periodic nature of learned skills, focusing instead on increasing the mutual dependence between states and skills or maximizing the distance traveled in latent space. Considering that many robotic tasks - particularly those involving locomotion - require periodic behaviors across varying timescales, the ability to discover diverse periodic skills is essential. Motivated by this, we propose Periodic Skill Discovery (PSD), a framework that discovers periodic behaviors in an unsupervised manner. The key idea of PSD is to train an encoder that maps states to a circular latent space, thereby naturally encoding periodicity in the latent representation. By capturing temporal distance, PSD can effectively learn skills with diverse periods in complex robotic tasks, even with pixel-based observations. We further show that these learned skills achieve high performance on downstream tasks such as hurdling. Moreover, integrating PSD with an existing skill discovery method offers more diverse behaviors, thus broadening the agent's repertoire. Our code and demos are available at https://jonghaepark.github.io/psd/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI