SARM: 長期的ロボットマニピュレーションのためのステージ認識型報酬モデリング

- 長期的・接触の多いロボットマニピュレーション、特に deformable objects を含むタスクのための stage-aware な video-based reward modeling フレームワーク。 - 自然言語の subtask annotations を用いて、可変長デモ間で一貫したラベルを導出。 - task stage と fine-grained progress を同時に予測する。 - この reward model 上に Reward-Aligned Behavior Cloning (RA-BC) を提案し、reward 推定に基づきデモをフィルタ・再重み付け。

- frame index ベースのラベリングの脆さを回避し、T-shirt folding のようなタスクでも安定した supervision を提供。 - デモのばらつきに対して頑健で、out-of-distribution シナリオにも汎化。 - 下流の policy training を改善。 - T-shirt folding で flattened state から 83%、crumpled state から 67% の成功率を達成し、vanilla BC の 8%・0% を大きく上回る。

- 自然言語の subtask annotations から可変長デモにまたがる一貫したラベルを導出。 - video-based な reward model が task stage と fine-grained progress を同時予測。 - その reward 推定を用いてデモをフィルタ・再重み付けする Reward-Aligned Behavior Cloning (RA-BC) を構築。 - 詳細なアーキテクチャや学習手順は要旨からは不明。

- 実世界の rollouts と human validation の両方で評価。 - ベースラインと比較し有意に優れると報告。 - T-shirt folding で flattened state から 83%、crumpled state から 67% の成功率(vanilla BC は 8%・0%)。 - デモのばらつきへの頑健性、out-of-distribution への汎化、下流 policy training の改善を確認。

- reward modeling が長期的ロボットマニピュレーションに対するスケーラブルかつ annotation-efficient な解決策であると主張。 - 限界や失敗事例、計算コスト、ラベリングコストの詳細な議論は要旨からは不明。

- vanilla BC(Behavior Cloning) - 本手法が基盤とする video-based reward modeling の関連研究 - deformable object manipulation(例: T-shirt folding)の先行研究 - 要旨で参照/比較されている個別論文は明示されていないため、上記分野の定番手法・関連研究を次に読む候補とする。