日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

報酬学習arXiv:2605.00384

PrefMoE: 混合専門家報酬学習による頑健な選好モデリング

PrefMoE: Robust Preference Modeling with Mixture-of-Experts Reward Learning

シェア:XThreadsFacebookLINEはてブBluesky

ノイズや矛盾を含む選好データから複数の報酬専門家を学習し、軌跡レベルのソフトルーティングで適応的に組み合わせることで、頑健な選好モデリングを実現する手法を提案した。

詳しい要約

1. どんなもの?

Preference-based reinforcement learning において、報酬を人手設計せず比較フィードバックから学習する手法が注目されている。しかし大規模な preference dataset は、crowdsourced annotators や synthetic teachers 由来で、annotator 間の disagreement や同一 annotator 内の inconsistency を含み、heterogeneous かつ部分的に矛盾した supervision になりがちである。既存の reward learning は単一の reward model を当てはめるため、両立しない信号を平均化し robustness が制限される。本論文は PrefMoE を提案する。これは mixture-of-experts reward learning framework であり、複数の specialized reward experts を学習し、trajectory-level soft routing で適応的に統合する。これにより noi…

2. 先行研究と比べてどこがすごい?

既存の reward learning 手法は、heterogeneous で部分的に矛盾する preference data に対し単一の reward model を当てはめ、両立しない信号を平均化してしまうため robustness が限られる。PrefMoE は複数の specialized reward experts を学習し、trajectory-level soft routing で適応的に統合することで、noisy で heterogeneous な preference supervision 下の多様な latent preference patterns を捉えられる点が異なる。また load-balancing regularizer により expert collapse を防ぎ訓練を安定化する。D4RL と MetaWorld において、強い single-model baselines より preference prediction robustness と下流の policy learning の信頼性を改善したと報告している。

3. 技術・手法の肝は?

- mixture-of-experts reward learning framework を採用 - 複数の specialized reward experts を学習 - trajectory-level soft routing により experts を適応的に統合 - noisy かつ heterogeneous な preference supervision 下で多様な latent preference patterns を捕捉 - load-balancing regularizer を導入し expert collapse を防止して訓練を安定化 - 詳細な network 構成や routing の数式は要旨からは不明

4. どうやって有効だと検証した?

- D4RL の locomotion benchmarks で評価 - MetaWorld の manipulation tasks で評価 - 指標として preference prediction robustness を確認 - 下流の policy learning の信頼性を確認 - 比較対象は strong single-model baselines - 具体的な数値や ablation の詳細は要旨からは不明

5. 議論はある?

- 大規模 preference datasets は crowdsourced annotators や synthetic teachers 由来で、annotator 間 disagreement や同一 annotator 内 inconsistency を含む点を問題視 - 単一 reward model では両立しない信号を平均化し robustness が制限されるという議論 - PrefMoE は複数 experts と soft routing でこの問題に対処 - load-balancing regularizer の必要性(expert collapse 防止)を主張 - 限界や今後の課題、計算コスト、routing の解釈性などは要旨からは不明

6. 次に読むべき論文は?

- Preference-based reinforcement learning の報酬学習(一般名) - Mixture-of-Experts(一般名) - D4RL - MetaWorld - 要旨で参照/比較されている具体的な single-model baselines の論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziqin Yuan, Ruiqi Wang, Dezhong Zhao, Baijian Yang, Byung-Cheol Min

分類: cs.RO

原文アブストラクト

Preference-based reinforcement learning offers a scalable alternative to manual reward engineering by learning reward structures from comparative feedback. However, large-scale preference datasets, whether collected from crowdsourced annotators or generated by synthetic teachers, often contain heterogeneous and partially conflicting supervision, including disagreement across annotators and inconsistency within annotators. Existing reward learning methods typically fit a single reward model to such data, forcing it to average incompatible signals and thereby limiting robustness. To solve this, we propose PrefMoE, a mixture-of-experts reward learning framework for robust preference modeling. PrefMoE learns multiple specialized reward experts and uses trajectory-level soft routing to combine them adaptively, enabling the model to capture diverse latent preference patterns under noisy and heterogeneous preference supervision. A load-balancing regularizer further stabilizes training by preventing expert collapse. Across locomotion benchmarks from D4RL and manipulation tasks from MetaWorld, PrefMoE improves preference prediction robustness and leads to more reliable downstream policy learning than strong single-model baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI