日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

報酬学習arXiv:2603.04861

理由付き選好フィードバックからの因果的に頑健な報酬学習

Causally Robust Reward Learning from Reason-Augmented Preference Feedback

シェア:XThreadsFacebookLINEはてブBluesky

選好ベースの報酬学習において、自然言語の理由を活用して因果的な手がかりを提供し、スプリアスな特徴への依存を減らすフレームワークReCouPLeを提案した。

詳しい要約

1. どんなもの?

- 言語rationaleを用いたpreference-based reward learningの枠組みReCouPLeを提案。 - 各rationaleをembedding空間のprojection axisとして扱い、その軸に沿う特徴でtrajectoryを評価。 - 同一rationaleを複数タスクで再利用し、追加データやLM fine-tuningなしで新規タスクへ転移。

2. 先行研究と比べてどこがすごい?

- 従来のpreference-based reward learningはsparseなbinary feedbackのためcausal confusionに弱い。 - 学習したrewardがspurious featuresに張り付き、テスト時に相関が消える/反転すると崩壊。 - ReCouPLeはrationaleで因果信号を補い、分布シフト下でreward accuracy最大1.5倍、新規タスクのpolicy性能2倍。

3. 技術・手法の肝は?

- 自然言語rationaleをembedding空間のguiding projection axisとして利用。 - その軸に沿う特徴でtrajectoryをscoreし、記述されたreasonと無関係なcontextをde-emphasize。 - 同一rationale(例: avoids collisions, completes the task faster)が複数タスクに現れると同一causal directionを再利用。

4. どうやって有効だと検証した?

- 分布シフト下でのreward accuracyと新規タスクでのdownstream policy performanceをbaselineと比較。 - 最大1.5倍のreward accuracy、2倍のpolicy性能を報告。 - コード公開: https://github.com/mj-hwang/ReCouPLe

5. 議論はある?

- rationaleが因果信号を補い、spurious featuresを超えて一般化できると主張。 - 同一rationaleの再利用により追加データやLM fine-tuningなしで転移可能。 - 限界や失敗ケース、rationale品質の影響は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてpreference-based reward learning、rationale-augmented learning、causal representation learning、distribution shift下のreward learningの定番文献を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Minjune Hwang, Yigit Korkmaz, Daniel Seita, Erdem Bıyık

分類: cs.AI, cs.LG, cs.RO

原文アブストラクト

Preference-based reward learning is widely used for shaping agent behavior to match a user's preference, yet its sparse binary feedback makes it especially vulnerable to causal confusion. The learned reward often latches onto spurious features that merely co-occur with preferred trajectories during training, collapsing when those correlations disappear or reverse at test time. We introduce ReCouPLe, a lightweight framework that uses natural language rationales to provide the missing causal signal. Each rationale is treated as a guiding projection axis in an embedding space, training the model to score trajectories based on features aligned with that axis while de-emphasizing context that is unrelated to the stated reason. Because the same rationales (e.g., "avoids collisions", "completes the task faster") can appear across multiple tasks, ReCouPLe naturally reuses the same causal direction whenever tasks share semantics, and transfers preference knowledge to novel tasks without extra data or language-model fine-tuning. Our learned reward model can ground preferences on the articulated reason, aligning better with user intent and generalizing beyond spurious features. ReCouPLe outperforms baselines by up to 1.5x in reward accuracy under distribution shifts, and 2x in downstream policy performance in novel tasks. We have released our code at https://github.com/mj-hwang/ReCouPLe

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI