不完全なデモンストレーションからの学習：時間行動木ガイドによる軌道修復
Learning from Imperfect Demonstrations via Temporal Behavior Tree-Guided Trajectory Repair
不完全なデモンストレーションを時間行動木（TBT）仕様に基づいて修復し、修復された軌道から報酬関数を抽出して強化学習を効率的に導くフレームワークを提案した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Aniruddh G. Puranic, Sebastian Schirmer, John S. Baras, Calin Belta
分類: cs.LG, cs.AI, cs.RO, cs.SY, eess.SY
原文アブストラクト
Learning robot control policies from demonstrations is a powerful paradigm, yet real-world data is often suboptimal, noisy, or otherwise imperfect, posing significant challenges for imitation and reinforcement learning. In this work, we present a formal framework that leverages Temporal Behavior Trees (TBT), an extension of Signal Temporal Logic (STL) with Behavior Tree semantics, to repair suboptimal trajectories prior to their use in downstream policy learning. Given demonstrations that violate a TBT specification, a model-based repair algorithm corrects trajectory segments to satisfy the formal constraints, yielding a dataset that is both logically consistent and interpretable. The repaired trajectories are then used to extract potential functions that shape the reward signal for reinforcement learning, guiding the agent toward task-consistent regions of the state space without requiring knowledge of the agent's kinematic model. We demonstrate the effectiveness of this framework on discrete grid-world navigation and continuous single and multi-agent reach-avoid tasks, highlighting its potential for data-efficient robot learning in settings where high-quality demonstrations cannot be assumed.
関連論文
- 高次行動監督による強力な方策クラス模倣学習/強化学習
- ConTrack: 適応的トレードオフ制御による拘束付き手の動作追跡模倣学習/強化学習
- IN-RIL: 模倣学習と強化学習を交互に組み合わせた方策ファインチューニング模倣学習/強化学習
- DFM: 表現豊かなダンス動作学習のための深層フーリエ模倣模倣学習/強化学習
- BMP：Bスプラインと運動プリミティブの橋渡し模倣学習/強化学習
- 強化学習によるリザバーダイナミクス変調を用いた効率的なロボットスキル合成模倣学習/強化学習
