日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

生成モデル/アライメントarXiv:2605.26552

サンプルベース変分推論の償却による少数ステップ生成モデルのアライメント

Aligning Few-Step Generative Models by Amortizing Sample-based Variational Inference

シェア:XThreadsFacebookLINEはてブBluesky

生成器と参照分布へのサンプルアクセスのみで少数ステップ生成モデルを整列させる一般的な枠組みFAVを提案し、ロボット操作のポリシー整列と画像生成器の整列で有効性を示した。

詳しい要約

1. どんなもの?

- 数ステップ生成モデルのアラインメント手法「FAV」を提案。 - 生成器と参照分布へのサンプルアクセスのみを必要とする。 - 報酬傾斜分布からのサンプリングとしてアラインメントを定式化。 - ロボティクス操作と画像生成の2領域で評価。

2. 先行研究と比べてどこがすごい?

- 既存手法は扱いやすい尤度、特定のODE/SDEソルバ、特定のモデル族を仮定。 - FAVはサンプルアクセスのみで一般性が高い。 - ロボティクス操作で56のオフラインRLと30のオフライン→オンラインRLタスクで既存のポリシー抽出ベースラインを上回る。 - 画像生成ではGAN、drifting model、consistency models、flow mapsなど多様なバックボーンを微調整可能。

3. 技術・手法の肝は?

- アラインメントを参照分布にアンカーされた報酬傾斜分布からのサンプリングとして捉える。 - Stein Variational Gradient Descentをサンプルベース変分推論として利用。 - 粒子更新を固定点回帰により生成器パラメータに償却(amortize)。 - 生成器と参照分布へのサンプルアクセスのみを要求。

4. どうやって有効だと検証した?

- ロボティクス操作:56のオフラインRLと30のオフライン→オンラインRLタスクで評価。 - 画像生成:ImageNet-256から1024^2のテキスト→画像合成まで、GAN、drifting model、consistency models、flow mapsを微調整。 - コード公開:https://github.com/Jaewoopudding/FAV

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Stein Variational Gradient Descent (SVGD) - GAN - drifting model - consistency models - flow maps - オフラインRLおよびオフライン→オンラインRLのポリシー抽出手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jaewoo Lee, Hyeongyu Kang, Dohyun Kim, Kyuil Sim, Woocheol Shin, Minsu Kim, Taeyoung Yun, Jeongjae Lee, Sanghyeok Choi, Tabitha Edith Lee, Jong Chul Ye, Jinkyoo Park

分類: cs.LG, cs.AI

原文アブストラクト

Aligning a few-step generative model is challenging, since existing alignment frameworks typically rely on restrictive assumptions: a tractable likelihood, a specific ODE/SDE solver, or a particular model family. We introduce FAV, Few-step Generative Models Alignment via Sample-based Variational Inference, a general alignment framework that requires only sample access to the generator and the reference distribution. We cast alignment as sampling from a reward-tilted distribution anchored to a reference distribution. We leverage Stein Variational Gradient Descent as a sample-based variational inference scheme and amortize its particle updates into the generator parameters via fixed-point regression. We evaluate FAV on two domains: robotics manipulation and image generator alignment. On generative policy alignment for robotic manipulation, FAV outperforms prevailing policy extraction baselines across 56 offline and 30 offline-to-online RL tasks. For image generator alignment, FAV fine-tunes diverse few-step backbones, including GAN, drifting model, consistency models, and flow maps, scaling from ImageNet-$256$ to 1024$^2$ text-to-image synthesis. Code is available at https://github.com/Jaewoopudding/FAV.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI