Robo-ValueRL: オフラインからオンラインへの強化学習における信頼性の高い価値推定

Robo-ValueRLは、オフラインからオンラインへの強化学習（offline-to-online reinforcement learning）における価値関数の信頼性がポリシー最適化に与える影響を体系的に分析するための統一フレームワークである。具体的には、履歴条件付き価値推定器（history-conditioned value estimator）を学習し、その信頼性をグローバル進捗（global-progress）と局所選好（local-preference）の指標で評価する。推定された価値は、品質条件付き整合性ポリシー事前学習（quality-conditioned consistency-policy pretraining）とオンラインロールアウト上の残差適応モジュール（residual adaptation module）に伝播され、価値の信頼性が下流のポリシー性能にどう影響するかを分析するテストベッドを提供する。実験では、240時間のオフライン実演と3,000以上のオンラインロールアウト軌道を用いて、下流性能が価値の信頼性と強く関連することを示し、ミリメートル精度の…

先行研究では、offline-to-online RLのフルスタックの複雑さにより再現や診断が困難であり、価値関数の信頼性がポリシー最適化に与える影響は未解明のままであった。Robo-ValueRLは、価値推定の信頼性に焦点を当て、その下流効果を体系的に追跡する統一フレームワークを提供する点が新しい。従来の手法は、価値ガイドなしの行動クローニング（behavior cloning）や、品質を無視したデータ利用に依存していたが、Robo-ValueRLは信頼性の高い価値関数がより良い行動品質推定を提供し、価値ガイド付きオフラインRLがより効果的にスケールすることを示した。また、オンライン改善を安定化するために高品質なロールアウトデータを優先する点も独自性がある。

手法の核は、履歴条件付き価値推定器（history-conditioned value estimator）を学習し、その信頼性をグローバル進捗（global-progress）と局所選好（local-preference）の指標で評価することにある。これらの価値推定は、品質条件付き整合性ポリシー事前学習（quality-conditioned consistency-policy pretraining）に利用され、オフライン事前学習中に価値ガイドを統合する。さらに、オンラインロールアウト上で残差適応モジュール（residual adaptation module）を適用し、高品質なロールアウトデータを優先することでオンライン改善を安定化させる。これにより、価値の信頼性が下流のポリシー性能に与える影響を分析するための統一テストベッドを構築している。

有効性は、240時間のオフライン実演と3,000以上のオンラインロールアウト軌道を用いた広範な実験で検証された。実験では、下流性能が価値の信頼性と強く関連することを示し、信頼性の高い価値関数がより良い行動品質推定を提供することを確認した。また、価値ガイド付きオフラインRLが品質を無視した行動クローニングよりも効果的にスケールすること、オンライン改善が高品質なロールアウトデータを優先することで安定化することを実証した。最終的に、ミリメートル精度のチップ挿入で86%、一般化可能なブロック分解で84%の成功率を達成した。

要旨からは、議論の余地や限界についての詳細は不明である。ただし、提案されたフレームワークが価値の信頼性と下流性能の関連性を示す一方で、その因果関係や一般化可能性についてはさらなる検討が必要かもしれない。また、実験は特定のロボット操作タスクに限定されており、他のタスクや環境での有効性は不明である。さらに、価値推定の信頼性指標（global-progressとlocal-preference）の定義や、それらがどのように計算されるかについての詳細は要旨からは不明である。

要旨で参照されている関連研究としては、offline-to-online reinforcement learning、value-guided offline RL、behavior cloning、consistency policy、residual adaptationなどの手法が挙げられる。具体的な論文名は不明であるが、これらの分野の定番論文として、オフラインRLの代表的な手法（例えば、Conservative Q-Learning (CQL)やImplicit Q-Learning (IQL)）や、オフラインからオンラインへの移行に関する研究（例えば、Cal-QLやAWAC）が関連する。また、ロボット操作における事前学習と微調整の枠組み（例えば、RoboCatやRT-1）も関連する可能性がある。