日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2512.18583

拡散モデルによる合成デモンストレーションを用いた敵対的模倣学習

SD2AIL: Adversarial Imitation Learning from Synthetic Demonstrations via Diffusion Models

シェア:XThreadsFacebookLINEはてブBluesky

拡散モデルで疑似専門家デモを生成し、優先リプレイで効率的に模倣学習する手法を提案。Hopperタスクで最先端を上回る性能を達成。

詳しい要約

1. どんなもの?

- SD2AIL は Adversarial Imitation Learning (AIL) における expert demonstration 不足を補うため、diffusion model で合成した demonstration を活用する枠組み。 - discriminator 内に diffusion model を組み込み、pseudo-expert data を生成して元の expert demonstration を拡張する。 - 大量の (pseudo-)expert demonstration から価値の高いものを選んで replay する prioritized expert demonstration replay strategy (PEDR) を導入する。 - 対象は simulation タスクでの imitation learning であり、Hopper では平均 return 3441 を報告。

2. 先行研究と比べてどこがすごい?

- 従来の AIL は expert demonstration が多いほど性能・安定性が向上するが、収集が困難な場合がある点を課題とする。 - diffusion model によるデータ生成の成功に着想を得て、expert demonstration を合成データで augment する点が特徴。 - 単に合成データを加えるだけでなく、PEDR により大規模な (pseudo-)expert demonstration pool から有用なものを選択的に replay する。 - Hopper で平均 return 3441 を達成し、state-of-the-art 手法を 89 上回ったと報告。

3. 技術・手法の肝は?

- discriminator に diffusion model を組み込み、synthetic demonstration を pseudo-expert data として生成する。 - 生成された pseudo-expert data を元の expert demonstration に加え、学習用の demonstration 集合を拡張する。 - prioritized expert demonstration replay strategy (PEDR) を導入し、大規模な (pseudo-)expert demonstration pool から価値の高い demonstration を優先的に replay する。 - AIL の reward 推論と policy optimization の枠組みの中で、拡張・選択された demonstration を利用する。

4. どうやって有効だと検証した?

- simulation タスク上で実験を行い、提案手法の有効性と robustness を示したと報告。 - 特に Hopper タスクで平均 return 3441 を達成し、state-of-the-art 手法を 89 上回った。 - 詳細な比較手法・評価指標・タスク数・seed 数などは要旨からは不明。

5. 議論はある?

- 合成 demonstration の品質や、diffusion model が生成する pseudo-expert data の信頼性に関する議論は要旨からは不明。 - PEDR の優先度設計や replay の安定性、計算コストについての詳細は要旨からは不明。 - simulation 以外の実環境への汎化性や、expert demonstration が極端に少ない場合の限界は要旨からは不明。

6. 次に読むべき論文は?

- Adversarial Imitation Learning (AIL) の基礎手法(例: GAIL などの定番手法)。 - diffusion model を用いた data augmentation / synthetic demonstration 生成に関する研究。 - prioritized experience replay および demonstration replay に関する研究。 - 要旨で具体的に参照・比較されている個別論文は明記されていないため、上記は同分野の関連手法・一般名として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pengcheng Li, Qiang Fang, Tong Zhao, Yixing Lan, Xin Xu

分類: cs.LG, cs.RO

原文アブストラクト

Adversarial Imitation Learning (AIL) is a dominant framework in imitation learning that infers rewards from expert demonstrations to guide policy optimization. Although providing more expert demonstrations typically leads to improved performance and greater stability, collecting such demonstrations can be challenging in certain scenarios. Inspired by the success of diffusion models in data generation, we propose SD2AIL, which utilizes synthetic demonstrations via diffusion models. We first employ a diffusion model in the discriminator to generate synthetic demonstrations as pseudo-expert data that augment the expert demonstrations. To selectively replay the most valuable demonstrations from the large pool of (pseudo-) expert demonstrations, we further introduce a prioritized expert demonstration replay strategy (PEDR). The experimental results on simulation tasks demonstrate the effectiveness and robustness of our method. In particular, in the Hopper task, our method achieves an average return of 3441, surpassing the state-of-the-art method by 89. Our code will be available at https://github.com/positron-lpc/SD2AIL.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI