TREND: デモンストレーションを用いたノイズに頑健な選好ベース強化学習のための三者相互学習

- ノイズを含むpreference feedback下でのpreference-based reinforcement learning (PbRL) のためのフレームワークTRENDを提案する研究。 - 少数のexpert demonstrationsとtri-teaching戦略を組み合わせ、ノイズ耐性を高める。 - 3つのreward modelを同時に学習し、相互に有用なpreference pairを教え合う。 - 1〜3個程度のexpert demonstrationで高性能を達成すると主張。 - ロボットmanipulationタスクで評価。

- 従来のPbRLは正確なpreference labelを前提とし、human/VLM annotatorのノイズに弱い。 - TRENDはfew-shot expert demonstrationsとtri-teachingを統合し、ノイズ軽減を図る点が新しい。 - わずか1〜3個のexpert demonstrationで高性能を達成できると主張。 - 最大40%のノイズ水準でも最大90%のsuccess rateを達成し、ノイズ耐性を示す。 - 具体的な先行研究との定量比較は要旨からは不明。

- 3つのreward modelを同時に学習するtri-teaching戦略を採用。 - 各modelは自身のsmall-loss preference pairを有用な知識とみなし、peer networkに教えてパラメータ更新に用いる。 - few-shot expert demonstrationsを統合し、ノイズ軽減に活用。 - ノイズの多いpreference labelの中から信頼できるpairを選別する仕組みが肝。 - 詳細なアルゴリズムや損失設計は要旨からは不明。

- 複数のロボットmanipulationタスクでTRENDを評価。 - 最大40%のノイズ水準でも最大90%のsuccess rateを達成。 - 1〜3個のexpert demonstrationで高性能を達成することを示す。 - ノイズを含むpreference feedbackに対する頑健性を実験的に確認。 - 具体的なタスク名や比較手法は要旨からは不明。

- ノイズの多いpreference feedbackに対するtri-teachingとfew-shot demonstrationsの有効性を議論。 - 1〜3個という極少数のdemonstrationで高性能を達成できる点を強調。 - 40%ノイズ下での90% success rateという頑健性を示す。 - 限界や失敗ケース、計算コスト、VLM annotatorの詳細は要旨からは不明。 - 理論的な保証やノイズモデルの仮定は要旨からは不明。

- preference-based reinforcement learning (PbRL) の代表的研究。 - tri-teachingやco-teachingなどのnoisy label学習手法。 - expert demonstrationsを用いたreinforcement learning from demonstrations (RLfD)。 - VLM annotatorによるpreference feedback生成に関する研究。 - 要旨で具体的に参照/比較されている論文名は不明。