日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

スキル発見arXiv:2610.00676

目標条件付き双模倣による転移可能なスキルの学習

Learning Transferable Skills using Goal-Conditioned Bisimulation

シェア:XThreadsFacebookLINEはてブBluesky

報酬なしデータから汎用方策を事前学習するため、環境の時間構造を捉えつつレイアウト変化に頑健な行動認識的時間表現を学習し、双模倣に基づく教師なしスキル発見により転移可能なスキルを獲得する手法を提案。

詳しい要約

1. どんなもの?

- 報酬なしデータセットから汎用ポリシーを事前学習するための教師なしスキル発見手法。 - 環境の時間的構造を捉えつつ、レイアウト間の変動に頑健な表現を学習することを目指す。 - 提案手法は、action-aware temporal representations を学習し、bisimulation に基づく教師なしスキル発見を行う。 - スキルの振る舞いを、その実行に直接影響する状態特徴のサブセットのみに条件付けることで、転移可能なスキルを獲得する。

2. 先行研究と比べてどこがすごい?

- 既存のスキル発見手法は、専門家データへのアクセスを必要としたり、一般化能力が限定的で、未見のレイアウトに効果的に転移できない問題があった。 - 提案手法は、レイアウト間の変動に頑健な時間的表現を学習し、スキルを異なる構成に転移できる点が優れている。 - 特に、機能同変性を満たす action-aware temporal representations を学習することで、局所的な時間構造を保持しつつ、レイアウト間の不変な振る舞いを実現する。

3. 技術・手法の肝は?

- 機能同変性を満たし、環境の局所的時間構造を保持する action-aware temporal representations を学習する目的関数を提案。 - この埋め込みに基づき、bisimulation を用いた教師なしスキル発見を提案。 - スキルの振る舞いを、その実行に直接影響する状態特徴のサブセットのみに条件付けることで、異なるレイアウト間で不変な振る舞いを強制する。 - これにより、スキルが他の構成に効果的に転移可能となる。

4. どうやって有効だと検証した?

- 包括的な実証評価を通じて、特定の環境で学習したスキルが、様々な環境レイアウトにおける下流タスクの解決に効果的に適用できることを示した。 - 強い out-of-distribution 一般化を実証した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、bisimulation に基づくスキル発見や教師なしスキル発見の先行研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mohammad Amin Abbasfar, Farbod Azimmohseni, Mohammad Hossein Rohban

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Unsupervised skill discovery has emerged as a promising approach for leveraging reward-free datasets to pretrain general-purpose policies. However, current skill discovery methods either require access to expert data or exhibit limited generalization, failing to transfer effectively to previously unseen layouts. A key challenge is to learn representations that capture the temporal structure of the environment while remaining robust to variations across layouts. To address this issue, we present an objective for learning action-aware temporal representations that satisfy the functional equivariance property while preserving the local temporal structure of the environment. Building upon this embedding, we further propose unsupervised skill discovery using bisimulation, which learns transferable skills by conditioning the behavior of skills exclusively on the subset of state features that directly affect their execution. This enforces invariant behavior across different layouts, enabling skills to transfer effectively to other configurations. Finally, through comprehensive empirical evaluations, we show that skills learned in a given environment can be effectively applied to solve downstream tasks in various environment layouts, demonstrating strong out-of-distribution generalization.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI