TimeRewarder：受動的動画からフレーム間時間距離で密報酬を学習

- 強化学習(RL)向けの dense reward を passive video から学習する手法 TimeRewarder の提案 - robot demonstrations や human videos などの受動的動画を利用 - フレームペア間の temporal distance をモデル化し、task progress を推定 - 推定された progress を step-wise proxy reward として RL に供給 - 人手による dense reward 設計の代替を目指す

- 従来の dense reward 設計は人手コストが大きくスケールしない - 先行手法と比較して最終 success rate と sample efficiency の両方で優位 - 人手で設計された environment dense reward をも上回ったと報告 - 10 の Meta-World タスク中 9 でほぼ完全な成功を達成 - タスクあたり 200,000 環境相互作用のみで達成

- フレームペア間の temporal distance を学習する reward learning 手法 - 動画から task progress を推定する信号を導出 - 推定 progress を step-wise proxy reward に変換して RL を誘導 - passive video(robot demonstrations, human videos)を入力に利用 - 詳細なアーキテクチャや学習目的は要旨からは不明

- Meta-World の 10 の難タスクで包括的に実験 - sparse-reward タスクの RL を大幅改善し 9/10 でほぼ完全成功 - タスクあたり 200,000 環境相互作用で達成 - 先行手法および手設計の environment dense reward と比較 - 実世界 human videos での pretraining の活用も示す

- 多様な動画源から豊富な reward 信号を得るスケーラブルな可能性を主張 - 実世界 human videos を pretraining に活用できることを示唆 - 限界や失敗ケース、仮定の詳細は要旨からは不明 - 10 タスク中 1 タスクは完全成功に至らず、その要因は要旨からは不明

- Meta-World(sparse-reward ベンチマーク) - 比較対象の previous methods(個別名は要旨からは不明) - 手設計の environment dense reward を用いる従来 RL 研究 - robot demonstrations を用いる reward learning 関連研究 - human videos を用いる imitation / reward 学習研究