日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2610.25692

進捗誘導による選好生成:生成型制御ポリシーのアラインメント

Progress-Guided Preference Generation for Aligning Generative Control Policies

シェア:XThreadsFacebookLINEはてブBluesky

少数の専門家デモを基準にロールアウトの進捗を測り、擬似選好ラベルを自動生成して生成型ポリシーを人間注釈なしで微調整する手法を提案。

詳しい要約

1. どんなもの?

- 生成的政策(generative policies)のための教師なし選好アライメント枠組み「Progress-Guided Preference Generation (PGPG)」を提案する研究。 - imitation learning で訓練された生成的政策は expert demonstrations の不足に制約される問題に対処。 - 人間による選好アノテーションを不要にし、自律収集した rollouts から擬似選好ラベルを自動抽出。 - 事前学習済み生成的政策を人手設計の報酬関数なしで微調整可能にする。

2. 先行研究と比べてどこがすごい?

- 既存の preference-based fine-tuning は高性能だが高価な human annotations に強く依存していた。 - PGPG は human-in-the-loop supervision を排除し、教師なしで選好アライメントを実現する点が新しい。 - 手動設計の reward functions を必要とせずに微調整できる点も従来手法と異なる。 - 単一クラスの生成的政策に限らず diffusion と flow-matching の両方に適用できる汎用性を示す。

3. 技術・手法の肝は?

- ordered coverage alignment を用い、少数の expert demonstrations に対する逐次的な進捗(sequential progress)を測定。 - 自律収集した rollouts から擬似選好ラベル(pseudo-preference labels)を自動抽出。 - progress-guided preferences の信頼性を高めるための key enhancements を導入。 - これにより事前学習済み生成的政策を報酬関数設計なしで効果的に fine-tuning する。

4. どうやって有効だと検証した?

- 難易度の高い long-horizon manipulation tasks 群で広範な実験を実施。 - PGPG が標準的な supervised fine-tuning ベースラインを上回ることを示した。 - diffusion および flow-matching の両ポリシーと統合し、汎用性を実証。

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗ケース、計算コスト、expert demonstrations 数への感度などの議論は要旨に記載なし)。 - 概念的には簡素な枠組みであると主張されているが、詳細な議論は本文参照が必要。

6. 次に読むべき論文は?

- 要旨で参照/比較されている supervised fine-tuning ベースライン。 - preference-based fine-tuning の既存手法(人手アノテーションを用いるもの)。 - diffusion policies および flow-matching policies の関連研究。 - imitation learning における generative policies の代表的手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tung M. Luu, Tri Ton, Duc M. Nguyen, Xuan Thanh Nguyen, Nguyen Gia Binh, Quang Tan Nguyen, Vu Duong, Daniel Sonntag, Duy M. H. Nguyen, Vien Anh Ngo, Chang D. Yoo

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Generative policies have achieved strong performance in imitation learning tasks, but their success is often constrained by the limited availability of expert demonstrations. Although preference-based fine-tuning can leverage suboptimal rollouts to improve performance, existing approaches heavily rely on expensive human annotations. In this work, we introduce Progress-Guided Preference Generation (PGPG), an unsupervised preference alignment framework that eliminates the need for human-in-the-loop supervision. Our method leverages ordered coverage alignment to measure sequential progress relative to a small set of expert demonstrations, enabling the automatic extraction of pseudo-preference labels from autonomously collected rollouts. Furthermore, we introduce key enhancements to improve the reliability of these progress-guided preferences, enabling effective fine-tuning of pretrained generative policies without requiring manually designed reward functions. Extensive experiments across a suite of challenging long-horizon manipulation tasks demonstrate that PGPG outperforms standard supervised fine-tuning baselines. Moreover, our conceptually simple framework is broadly applicable across multiple classes of generative policies, demonstrating strong versatility when integrated with both diffusion and flow-matching policies.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI