IRL/転移学習2026/6/1arXiv:2606.03017

ConTraIRL: 転移可能な逆強化学習のための因子化コントラスト抽象化

ConTraIRL: Factorized Contrastive Abstractions for Transferable IRL

環境ダイナミクスとタスク目標を分離した潜在表現を学習し、未見の組み合わせへの報酬転移を可能にする逆強化学習フレームワークを提案した。

詳しい要約

1. どんなもの？

- Inverse Reinforcement Learning (IRL) における報酬転移を改善する枠組み ConTraIRL を提案。 - 環境の dynamics と task goal を分離した潜在表現に分解し、未見の組み合わせへの compositional な報酬転移を可能にする。 - 連続制御ベンチマークで few-shot 転移を実証。

2. 先行研究と比べてどこがすごい？

- 従来の transfer IRL ベースラインと比較して、未見の dynamics-goal ペアへの転移性能が向上。 - サンプル効率と報酬復元精度の改善を報告。 - 要旨からは具体的なベースライン名は不明。

3. 技術・手法の肝は？

- dual-encoder アーキテクチャで観測を dynamics 潜在空間と goal 潜在空間に別々に写像。 - dual contrastive objective で訓練。 - temporal alignment により dynamics encoder は goal 不変な構造を、goal encoder は dynamics 不変な特徴を学習。 - この factorization が再結合された dynamics-goal 設定下での報酬推論を支える。

4. どうやって有効だと検証した？

- 連続制御ベンチマーク上で実験。 - 未見の dynamics-goal ペアリングへの few-shot 転移を評価。 - transfer IRL ベースラインと比較し、サンプル効率と報酬復元の改善を確認。

5. 議論はある？

- 要旨からは明示的な議論や限界は不明。 - 提案手法の有効性は示されているが、失敗ケースや仮定の妥当性については言及なし。

6. 次に読むべき論文は？

- 要旨で参照されている具体的な先行研究は不明。 - 同分野の定番として、Inverse Reinforcement Learning (IRL) の基礎手法や transfer learning を用いた IRL 関連研究を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yikang Gui, Bikramjit Banerjee, Prashant Doshi

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Reward transfer in Inverse Reinforcement Learning (IRL) is unreliable when policies must generalize to unseen combinations of environment dynamics and task goals. We propose Factorized Contrastive Abstractions for Transferable IRL (ConTraIRL), a framework that enables compositional reward transfer by learning decoupled latent representations of these two factors. ConTraIRL uses a dual-encoder architecture that maps observations into separate dynamics and goal latent spaces, trained with a dual contrastive objective. Temporal alignment encourages the dynamics encoder to learn goal-invariant structure, while the goal encoder captures dynamics-invariant features. This factorization supports reward inference under recombined dynamics-goal settings. Experiments on continuous control benchmarks demonstrate effective few-shot transfer to unseen dynamics-goal pairings, improving sample efficiency and reward recovery over transfer IRL baselines.

arXivで原文を読む →arXiv概要ページ

← 論文一覧