日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2606.19752

時間的自己模倣学習

Temporal Self-Imitation Learning

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作の強化学習において、学習中に発見された時間的に効率的な成功軌道を自己模倣学習で再利用し、長期的なタスクの学習効率と成功率を向上させるフレームワークを提案した。

詳しい要約

1. どんなもの?

- 長期的なロボット操作タスクにおける強化学習フレームワーク。 - 報酬整形で訓練された方策は非効率な相互作用でも高いリターンを得るが、効率的な行動は忘れられる問題に対処。 - 時間的効率性を自己教師信号として活用する Temporal Self-Imitation Learning (TSIL) を提案。 - 学習中に生成された時間的に効率的な成功軌道をマイニングし、再利用可能な監督に変換。 - 15の異なる長期的操作タスクで学習効率、タスク完了効率、高速成功行動の再訪、不安定な訓練条件への堅牢性を改善。

2. 先行研究と比べてどこがすごい?

- 従来の報酬整形に依存した強化学習と比較して、時間的効率性を自己教師信号として利用する点が新しい。 - 手動で設計された報酬整形だけでは得られない、スケーラブルな自己監督信号を提供。 - 効率的な行動を忘れずに保持・再生することで、学習効率とタスク完了効率を向上。 - 不安定な訓練条件に対する堅牢性も向上。

3. 技術・手法の肝は?

- 学習中に生成された時間的に効率的な成功軌道をマイニング。 - それらを再利用可能な監督に変換し、将来の方策改善に活用。 - 高速成功軌道から導出された configuration-conditioned adaptive temporal targets を用いて学習を漸進的に洗練。 - efficiency-weighted self-imitation learning により効率的な行動を保持・再生。

4. どうやって有効だと検証した?

- 15の異なる長期的操作タスクで評価。 - 学習効率、タスク完了効率、高速成功行動の再訪、不安定な訓練条件への堅牢性を測定。 - TSILがこれらの指標を一貫して改善することを確認。

5. 議論はある?

- 成功行動の時間的構造自体が、手動の報酬整形を超えたスケーラブルな自己監督信号を提供することを示唆。 - 時間的効率性が強化学習の自己監督源として強力かつ未活用であると主張。 - 具体的な限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として self-imitation learning, reward shaping, reinforcement learning for long-horizon manipulation が挙げられる。 - 同分野の定番として、Hindsight Experience Replay (HER) や Deep Deterministic Policy Gradient (DDPG) などの強化学習手法が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yinsen Jia, Boyuan Chen

分類: cs.RO, cs.AI

原文アブストラクト

Long-horizon robot manipulation policies trained with reward shaping can still achieve high return through inefficient interactions, while rare efficient behaviors discovered during training may be forgotten. We argue that temporal efficiency itself provides a powerful and underutilized source of self-supervision for reinforcement learning. We introduce Temporal Self-Imitation Learning (TSIL), a reinforcement learning framework that mines temporally efficient successful trajectories generated during learning and converts them into reusable supervision for future policy improvement. TSIL progressively refines learning using configuration-conditioned adaptive temporal targets derived from fast successful trajectories, while preserving and replaying efficient behaviors through efficiency-weighted self-imitation learning. Across 15 distinct long-horizon manipulation tasks, TSIL consistently improves learning efficiency, task-completion efficiency, revisitation of fast successful behaviors, and robustness to unstable training conditions. More broadly, our results suggest that the temporal structure of successful behavior itself provides a scalable self-supervisory signal for reinforcement learning beyond manually engineered reward shaping alone.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI