日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

方針整合/パーソナライズarXiv:2610.26914

匿名クラウドフィードバックから操縦可能な多元的方針整合

Steerable Pluralistic Policy Alignment from Anonymized Crowd Feedback

シェア:XThreadsFacebookLINEはてブBluesky

注釈者IDを必要とせず、異種の群衆フィードバックからPCA分解で選好方向の共有基底と軌道埋め込みを同時学習し、テスト時に個別ユーザーへ迅速にパーソナライズ整合する枠組みP3Lを提案。

詳しい要約

1. どんなもの?

- 複数集団の異質・相反する選好からAIを学習させ、個々のユーザーに合わせて挙動を個人化する pluralistic alignment の枠組み - 提案手法は Preference-PCA Pluralistic Learning (P3L) - 匿名化された crowd feedback のみから、trajectory embeddings と選好方向の共有基底を PCA 分解で同時学習 - test 時には迅速かつ正確な personalized reward learning と下流の policy optimization を可能にする - 複数の embodied control tasks で評価

2. 先行研究と比べてどこがすごい?

- 既存の pluralistic alignment は annotator identities へのアクセスを前提とし、強力な pretrained representations に依存して個人の選好変動をモデル化していた - P3L は annotator identities を必要とせず、匿名 crowd feedback から学習する点が異なる - 共有基底を PCA 分解で学習することで、個人化を低コストに実現 - 計算コストを大幅に削減しつつ、可変な adaptation query budgets に対応 - offline dataset を超えて out-of-distribution な新規ユーザーへ汎化する steerable personal alignment を実現

3. 技術・手法の肝は?

- 異種の crowd feedback から trajectory embeddings と選好方向の共有基底を PCA 分解により同時に学習 - annotator identities を用いずに選好の多様性を表現 - test 時は学習した基底を用いて personalized reward learning を迅速に行い、続いて policy optimization を実施 - adaptation query budgets が可変でも適応可能な設計 - 具体的なネットワーク構成や損失関数の詳細は要旨からは不明

4. どうやって有効だと検証した?

- 複数の embodied control tasks で実験 - offline dataset を超えた out-of-distribution の新規ユーザーへの汎化を検証 - RL 性能および test 性能で競争力のある結果を確認 - 計算コストの大幅削減と可変 adaptation query budgets への対応を確認 - 具体的なベースラインや評価指標の詳細は要旨からは不明

5. 議論はある?

- 匿名 crowd feedback のみで個人化を実現できる点と計算効率の高さが利点として示唆される - out-of-distribution 新規ユーザーへの汎化や可変 query budgets への対応が議論の対象 - 選好が異質・相反する状況での限界や、PCA 基底で表現しきれない選好の扱いは要旨からは不明 - annotator identities を失うことによる個人識別精度や公平性への影響は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は明示されていない - 同分野の関連手法として pluralistic alignment、personalized reward learning、RLHF (reinforcement learning from human feedback)、PCA ベースの選好モデリングに関する論文を次に読むべき - embodied control における personalization や out-of-distribution ユーザーへの汎化を扱う研究も関連

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Akansha Kalra, Ellen R. Novoseller, Vernon J. Lawhern, Daniel S. Brown

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Pluralistic alignment requires AI systems to learn from diverse populations whose preferences may reflect heterogeneous or even conflicting objectives, and to personalize their behavior to individual users. Existing approaches in pluralistic alignment often assume access to annotator identities and rely on powerful pretrained representations to model individual preference variations. We propose Preference-PCA Pluralistic Learning (P3L), a novel framework for pluralistic alignment that jointly learns trajectory embeddings and the shared basis of preference directions via PCA decomposition from heterogeneous crowd feedback without requiring annotator identities. At test time, our approach enables rapid and accurate personalized reward learning and downstream policy optimization. Experiments across multiple embodied control tasks demonstrate that P3L enables steerable personal alignment that generalizes beyond the offline dataset to out-of-distribution new users and attains competitive RL and test performance, while substantially reducing computational cost and supporting variable adaptation query budgets.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI