Robometer：軌道比較による汎用ロボット報酬モデルのスケーリング

- 汎用ロボット報酬モデル **Robometer** を提案。 - 従来は expert demonstration から絶対的な task progress を予測する局所的・frame-level 監督が主流。 - 失敗や準最適 trajectory が大量にある大規模データにはスケールしにくい問題に対処。 - intra-trajectory の progress 監督と inter-trajectory の preference 監督を組み合わせる。 - 100万超の trajectory からなる **RBM-1M** データセットも整備。

- 従来の絶対 progress 予測型 reward model は expert データには有効だが、失敗・準最適データへのスケールが悪い。 - 密な progress ラベル付与が曖昧になる問題を、trajectory 間比較の preference 監督で補う。 - 実データと augmented failed trajectory の両方から効果的に学習可能。 - 複数の benchmark と実世界評価で、prior 手法より汎化する reward function を学習。 - 多様な下流タスクでロボット学習性能を改善。

- 二重目的で学習する reward modeling framework。 - frame-level progress loss: expert データ上で reward の大きさを anchor する。 - trajectory-comparison preference loss: 同一タスク内の trajectory 間に大域的な順序制約を与える。 - これにより real および augmented failed trajectory からも学習可能。 - 大規模化のため、多様な robot embodiment とタスクを含む **RBM-1M** を整備。

- 複数の benchmark で評価。 - 実世界評価も実施。 - prior 手法より汎化する reward function を学習することを確認。 - 多様な下流アプリケーションでロボット学習性能が向上。 - コード・モデル重み・動画を公開。

- 失敗・準最適 trajectory が多い大規模データでの reward learning のスケーラビリティを議論。 - 密な progress ラベル付与の曖昧さを preference 監督で補う設計を提示。 - 実データと augmented failed trajectory の併用の有効性を示唆。 - 具体的な限界や失敗事例、計算コストなどの詳細は要旨からは不明。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、absolute task progress を予測する reward model、preference-based reward modeling、trajectory comparison を用いる手法が挙げられる。 - 同分野の定番として、robot learning における reward modeling や imitation learning、RLHF 系の preference learning を参照するとよい。