日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2607.07859

フィードバック操作正則化:模倣学習におけるオフラインエージェントのアライメントを可能にする

Feedback Manipulation Regularization: Enabling Offline Agent Alignment for Imitation Learning

シェア:XThreadsFacebookLINEはてブBluesky

評価フィードバックを補正信号として利用し、模倣学習ポリシーのアライメントを改善するアルゴリズム非依存の手法FMRを提案し、Safety Gymnasium環境で最大98%の不整合削減を実証した。

詳しい要約

1. どんなもの?

Feedback Manipulation Regularization (FMR) は、模倣学習ポリシーのアライメントを改善するためのアルゴリズムに依存しない手法を提案する。評価的フィードバックを修正信号として利用し、完全な逐次決定環境における単一段階のオフライン訓練を可能にする。Safety Gymnasium 環境をアライメント評価用に適応し、複数の模倣学習アルゴリズムで最大98%のミスアライメント削減を達成する。

2. 先行研究と比べてどこがすごい?

既存のアライメント手法は、人間のデモンストレーションとフィードバックを組み合わせる際に、言語生成の文脈的バンディット設定向けの多段階パイプラインに依存している。FMR は、これらの補完的入力を単一段階のオフライン訓練で統合し、逐次意思決定環境に適用できる点で新しい。また、データが乏しい状況でも堅牢であることを示す。

3. 技術・手法の肝は?

FMR は、評価的フィードバックを正則化項として模倣学習の目的関数に組み込む。具体的には、フィードバックに基づいてポリシーの更新方向を操作し、望ましくない行動を抑制する。アルゴリズムに依存しないため、既存の模倣学習アルゴリズムに容易に統合できる。

4. どうやって有効だと検証した?

Safety Gymnasium 環境をアライメント評価用に適応し、複数の模倣学習アルゴリズム(具体的な名称は要旨に記載なし)に対して FMR を適用した。その結果、最大98%のミスアライメント削減と、限られたデータ環境(希少なアライメント済みデモンストレーションやノイズの多いデモンストレーション)での堅牢性を実証した。

5. 議論はある?

要旨からは、FMR の理論的保証や、異なるフィードバック形式(例えば、数値報酬 vs. ランキング)への拡張、実世界の複雑なタスクへの適用可能性に関する議論は不明。また、Safety Gymnasium の適応がどの程度現実のアライメント評価を反映するかについての考察も要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、アライメントのための模倣学習とフィードバック統合の分野では、Inverse Reinforcement Learning (IRL)、Preference-based RL、Constrained RL などの手法が関連する。また、Safety Gymnasium 環境の元論文や、オフライン RL の標準的手法(例えば、Conservative Q-Learning)も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Benjamin Poole, Minwoo Lee

分類: cs.AI, cs.HC, cs.LG

原文アブストラクト

Reinforcement learning (RL) research has increasingly shifted focus towards alignment, ensuring agents learn behaviors adhering to human values. While human demonstrations and feedback have proven crucial for alignment, existing approaches predominantly combine these signals using multi-stage pipelines designed for the contextual bandit framing of language generation. Yet little work explores how these complementary inputs can serve as a richer, interconnected signal for single-stage offline training in fully sequential decision-making environments. We propose Feedback Manipulation Regularization (FMR), an algorithm-agnostic method that harnesses evaluative feedback as a corrective signal to improve the alignment of imitation learning policies. We adapt Safety Gymnasium environments to be a principled testbed for alignment evaluation, demonstrating improved aptitude and up to a 98\% reduction in misalignment across a range of imitation learning algorithms. FMR remains robust in limited data regimes, even when learning from scarce aligned and uninformative noisy demonstrations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI