日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習/蒸留arXiv:2605.27095

表現力豊かな教師からの敵対的二重オン方策蒸留

Adversarial Dual On-Policy Distillation from Expressive Teacher

シェア:XThreadsFacebookLINEはてブBluesky

デモのみから学習する強化学習において、フローマッチング教師とMLP生徒を敵対的に共訓練し、報酬と行動の二つの蒸留信号でオンライン探索と局所学習を両立させる手法FA-OPDを提案。

詳しい要約

1. どんなもの?

- 実体化制御におけるデモンストレーション学習の手法。 - 従来の behavioral cloning や diffusion/flow-matching 方策はオフライン教師あり学習で、方策が実際に訪れる状態への修正信号がない。 - on-policy distillation (OPD) を応用するが、標準 OPD は強力な固定 teacher を前提とし、デモのみの制御では利用不可。 - 提案手法 FA-OPD は、デモから Flow Matching (FM) teacher を学習し、軽量 MLP student と共訓練する adversarial dual on-policy distillation。 - teacher は student のロールアウト上で reward channel と action channel の二つの相補的信号を提供する。

2. 先行研究と比べてどこがすごい?

- 従来の diffusion/flow-matching 方策はオフライン教師あり学習に留まり、student が訪れる状態での修正信号がない。 - 標準 OPD は強力な固定 teacher を仮定するが、デモのみの制御ではそれが得られない。 - FA-OPD は teacher をデモから学習し student と共訓練することで、この制約を回避する。 - reward distillation により点ごとのデモを超えた汎化を可能にし、action distillation により探索を専門家らしい挙動近傍に保つ。 - 6つのベンチマークで強い baseline を上回り、ノイズや限られたデモに対する頑健性が大幅に向上。

3. 技術・手法の肝は?

- デモから Flow Matching (FM) teacher を学習し、軽量 MLP student と共訓練する adversarial dual on-policy distillation。 - teacher は student のロールアウト上で二つの相補的信号を提供。 - reward channel: 状態-行動ペア上の expert-likeness 目的を学習し、長期的方策最適化を通じてオンライン探索を駆動。 - action channel: student が訪れる状態で密な局所ターゲットを供給し、活用を安定化。 - 両者を結合し、reward distillation が点ごとのデモを超えた汎化を可能にし、action distillation が探索を専門家らしい挙動近傍に固定。

4. どうやって有効だと検証した?

- 6つの robot navigation, manipulation, locomotion ベンチマークで評価。 - 強い baseline を上回る性能を示す。 - ノイズのあるデモや限られたデモに対して、はるかに強い頑健性を示す。 - ソースコード: https://github.com/vanzll/FA-OPD

5. 議論はある?

- 要旨からは不明。 - 明示的な限界や議論の記述は要旨に含まれていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: behavioral cloning, diffusion policies, flow-matching policies, on-policy distillation (OPD)。 - 関連手法として Flow Matching (FM) teacher が挙げられる。 - 同分野の定番として robot navigation, manipulation, locomotion のベンチマークが用いられている。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenglin Wan, Jingxuan Wu, Xingrui Yu, Chubin Zhang, Mingcong Lei, Bo An, Ivor W. Tsang, Yang You

分類: cs.LG

原文アブストラクト

Learning from demonstrations in embodied control is often cast as behavioral cloning, and recent diffusion or flow-matching policies improve this paradigm by modeling multi-modal expert actions. Yet these methods remain offline supervised learners: the policy is trained only on expert states and receives no corrective signal on the states it actually visits. On-policy distillation (OPD) offers a natural remedy, but standard OPD assumes a strong fixed teacher, which is unavailable in demonstration-only control. We propose \textbf{FA-OPD}, an \emph{adversarial dual on-policy distillation} method in which a Flow Matching (FM) teacher is learned from demonstrations and co-trained with a lightweight MLP student. The teacher provides two complementary signals on student rollouts. The reward channel learns an expert-likeness objective over state-action pairs and drives online exploration through long-horizon policy optimization. The action channel supplies dense local targets at student-visited states, stabilizing exploitation. FA-OPD couples them so that reward distillation enables generalization beyond point-wise demonstrations, while action distillation keeps exploration anchored near expert-like behavior. Across six robot navigation, manipulation, and locomotion benchmarks, FA-OPD beats strong baselines and shows much stronger robustness under noisy or limited demonstrations. Source code: https://github.com/vanzll/FA-OPD.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI