強化学習で獲得した両腕ロボットスキルの計画とスケジューリング

- 長期的な contact-rich な bimanual manipulation を対象とした階層的フレームワーク - 課題を skill planning と scheduling の統合問題として定式化 - 純粋な逐次的意思決定を超え、同時並行的な skill 呼び出しを支援 - 単腕・両腕の primitive skills のライブラリを基盤とする - 各 skill は GPU 加速 simulation 上で Reinforcement Learning (RL) により学習 - Transformer ベースの planner を skill 構成データセットで学習 - 高レベル scheduler として離散的な skill schedule と連続パラメータを同時予測

- end-to-end RL と比較して、複雑で contact-rich なタスクで高い成功率を達成 - 従来の sequential-only planners と比較して、より効率的で協調的な振る舞いを生成 - 純粋な逐次的意思決定ではなく、並列実行と逐次協調の混合を扱える点が差異 - 単一の end-to-end 方針ではなく、学習済み skill ライブラリと高レベル planner の分離により長期的タスクへ対応

- 階層的構成 - 低レベル: 単腕・両腕の primitive skills を RL で学習しライブラリ化 - 高レベル: Transformer-based planner が skill の離散スケジュールと連続パラメータを同時予測 - skill 構成データセット上で planner を学習 - GPU 加速 simulation を用いて primitive skills を訓練 - 並列実行と逐次協調の混合を許容する skill planning & scheduling の統合定式化

- 複雑で contact-rich なタスクにおいて end-to-end RL より高い成功率を達成したと報告 - sequential-only planners より効率的で協調的な挙動を生成したと報告 - 具体的なタスク名・ベースライン・評価指標・実験規模は要旨からは不明

- 並列実行と逐次協調の混合を扱う統合的な skill planning & scheduling の有効性を示唆 - end-to-end RL に対する階層型アプローチの優位性を主張 - 限界、失敗事例、計算コスト、sim-to-real の議論は要旨からは不明 - データセット依存性や planner の汎化性に関する議論も要旨からは不明

- 要旨で直接比較されている end-to-end RL および sequential-only planners の関連研究 - 階層型強化学習 (hierarchical RL) や options framework に関する定番研究 - Transformer を用いた計画・スケジューリングに関する研究 - bimanual manipulation の skill library 構築に関する研究 - 具体的な論文名は要旨からは不明