日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2508.14383

任意のデモンストレーションによるオフライン模倣学習:ダイナミクス表現の事前学習

Offline Imitation Learning upon Arbitrary Demonstrations by Pre-Training Dynamics Representations

シェア:XThreadsFacebookLINEはてブBluesky

遷移ダイナミクスの分解からダイナミクス表現を事前学習し、限られた専門家データでもオフライン模倣学習を高精度化する手法を提案。非専門家データを再利用でき、MuJoCoや実機四足歩行で少数デモからの学習を実現。

詳しい要約

1. どんなもの?

- 限られた expert データ下での offline imitation learning (IL) を改善する手法の提案。 - transition dynamics の factorizations から導かれる dynamics representations を pre-training 段階で学習する。 - 下流の IL では representation 空間上で決定変数を最適化する枠組み。 - MuJoCo と実機 quadruped で検証。

2. 先行研究と比べてどこがすごい?

- 従来の offline IL は expert データ不足がボトルネック。 - 提案法は同一 dynamics で収集された任意のデータ(非 expert 含む)を pre-training に再利用可能。 - 理論的に offline IL の最適決定変数が representation 空間に存在することを示し、下流 IL の学習パラメータを大幅削減。 - 単一 trajectory の expert データでも模倣可能な点を実証。

3. 技術・手法の肝は?

- transition dynamics の factorizations に基づく dynamics representations を定義。 - 最適決定変数が representation 空間に属することを理論的に正当化。 - noise contrastive estimation に着想を得た tractable な損失関数で pre-training を実施。 - 下流 IL は representation 空間上で学習し、パラメータ数を削減。

4. どうやって有効だと検証した?

- MuJoCo 上で expert 単一 trajectory でも expert policy を模倣できることを実験的に確認。 - 実機 quadruped で simulator データから pre-train した dynamics representations を用い、少数の実世界 demonstration から歩行学習が可能なことを示す。

5. 議論はある?

- 要旨からは不明(理論的正当化と実験結果は示されるが、限界や失敗ケースの議論は記載なし)。 - 同一 dynamics を前提とするため dynamics が異なる状況への適用性は要旨からは不明。

6. 次に読むべき論文は?

- noise contrastive estimation 関連の研究。 - offline imitation learning の既存手法(一般名)。 - MuJoCo を用いた imitation learning ベンチマーク研究(一般名)。 - quadruped locomotion の sim-to-real 研究(一般名)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haitong Ma, Bo Dai, Zhaolin Ren, Yebin Wang, Na Li

分類: cs.RO, cs.LG

原文アブストラクト

Limited data has become a major bottleneck in scaling up offline imitation learning (IL). In this paper, we propose enhancing IL performance under limited expert data by introducing a pre-training stage that learns dynamics representations, derived from factorizations of the transition dynamics. We first theoretically justify that the optimal decision variable of offline IL lies in the representation space, significantly reducing the parameters to learn in the downstream IL. Moreover, the dynamics representations can be learned from arbitrary data collected with the same dynamics, allowing the reuse of massive non-expert data and mitigating the limited data issues. We present a tractable loss function inspired by noise contrastive estimation to learn the dynamics representations at the pre-training stage. Experiments on MuJoCo demonstrate that our proposed algorithm can mimic expert policies with as few as a single trajectory. Experiments on real quadrupeds show that we can leverage pre-trained dynamics representations from simulator data to learn to walk from a few real-world demonstrations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI