PrefPI: 選好ガイドによる分布外行動への誘導

- 事前学習済みの生成ロボットポリシーを、自己生成した軌道に対する相対的な選好のみで誘導する反復フレームワーク PrefPI を提案。 - 初期ポリシーの有効サポート外の振る舞い（めったに観測されない、または全く観測されない）への誘導を目的とする。 - 選好学習を選好条件付き生成モデリングとして定式化し、選好軌道が定義する条件付き分布と広い行動事前分布との密度比を暗黙の選好信号として利用。 - classifier-free guidance (CFG) で増幅し、選好条件付きモデリングとガイダンスを繰り返すことで選好誘導ポリシー反復を実現。 - diffusion policies と PI0.5 flow-matching VLA に適用し、シミュレーションと実世界で検証。

- 従来の選好学習は主にポリシーが既に表現しているモードを鋭くする（sharpening）ことに留まる。 - 本研究は初期ポリシーの有効サポートを超えた誘導（steering beyond the initial effective support）を扱う点で異なる。 - 望ましい振る舞いが初期ポリシー下でまれにしか、あるいは全く観測されない状況を対象とする。 - 選好条件付き生成モデリングと CFG を組み合わせ、暗黙の選好信号を増幅する点が新規。 - 限られたフィードバックで大きな行動変化を実現（例：実機で物体輸送高さを 10.7 cm から 19.8 cm へ、150 の選好ラベル軌道のみ）。

- 選好学習を選好条件付き生成モデリングとして定式化。 - 選好軌道が条件付き分布を定義し、その密度比を広い行動事前分布（behavior prior）と比較。 - 密度比が暗黙の選好信号として機能し、classifier-free guidance (CFG) で増幅。 - 選好条件付きモデリングとガイダンスステップを繰り返し、選好誘導ポリシー反復（preference-guided policy iteration）を形成。 - これにより以前は到達不可能だった振る舞いへの漸進的改善を実現。 - diffusion policies と PI0.5 flow-matching VLA に適用可能。

- シミュレーションと実世界の両方で検証。 - diffusion policies と PI0.5 flow-matching VLA に適用。 - 実機で物体輸送高さが 10.7 cm から 19.8 cm に増加。 - わずか 150 の選好ラベル付き軌道で実現。 - 限られたフィードバックで実質的な行動変化を確認。

- 要旨からは不明。 - 限界や失敗事例、計算コスト、選好ラベルの品質依存性などについての議論は要旨に記載なし。

- 要旨で参照/比較されている研究：prior preference-learning methods（具体的名称は要旨に記載なし）。 - 関連手法：diffusion policies、PI0.5 flow-matching VLA、classifier-free guidance (CFG)。 - 同分野の定番：preference-based reinforcement learning (PbRL)、RLHF、diffusion policy、flow matching。