日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2601.00452

軌道レベルの生成埋め込みによる観察からの模倣学習

Imitation from Observations with Trajectory-Level Generative Embeddings

シェア:XThreadsFacebookLINEはてブBluesky

拡散モデルで軌道データを潜在空間に埋め込み、専門家の状態密度を推定することで、不完全なオフラインデータからでも密で滑らかな報酬を構築する観察ベース模倣学習手法を提案。

詳しい要約

1. どんなもの?

- オフライン模倣学習(LfO)の新手法TGEを提案。 - 専門家のデモンストレーションが少なく、オフラインの劣最適データが専門家から離れている状況を扱う。 - 時系列拡散モデルの潜在空間で専門家の状態密度を推定し、密で滑らかな代理報酬を構築。 - 長期的な時間的ダイナミクスを捉え、分布が離れたデータ間のギャップを橋渡しする。

2. 先行研究と比べてどこがすごい?

- 既存の分布マッチング手法は厳しいサポート制約と脆い一歩モデルに依存し、不完全データから有用な信号を抽出しにくい。 - TGEは学習された拡散埋め込みの滑らかな幾何を活用し、サポートが重ならない場合でも頑健な学習信号を提供。 - 従来手法と比べ、オフラインデータが専門家と分布的に異なる場合でも性能を維持または上回る。

3. 技術・手法の肝は?

- オフライン軌道データで訓練された時系列拡散モデルの潜在空間を利用。 - 専門家の状態密度を潜在空間で推定し、密で滑らかな代理報酬を構築。 - 拡散埋め込みの滑らかな幾何により、長期的な時間的ダイナミクスを捉え、離れたサポート間を橋渡し。 - これにより、オフラインデータが専門家と分布的に異なっても頑健な学習信号を確保。

4. どうやって有効だと検証した?

- D4RLのlocomotionおよびmanipulationベンチマークで評価。 - 提案手法は一貫して既存のオフラインLfO手法と同等かそれ以上の性能を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、D4RLベンチマークを用いたオフライン模倣学習(LfO)や分布マッチング手法が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yongtao Qu, Shangzhe Li, Weitong Zhang

分類: cs.LG

原文アブストラクト

We consider the offline imitation learning from observations (LfO) where the expert demonstrations are scarce and the available offline suboptimal data are far from the expert behavior. Many existing distribution-matching approaches struggle in this regime because they impose strict support constraints and rely on brittle one-step models, making it hard to extract useful signal from imperfect data. To tackle this challenge, we propose TGE, a trajectory-level generative embedding for offline LfO that constructs a dense, smooth surrogate reward by estimating expert state density in the latent space of a temporal diffusion model trained on offline trajectory data. By leveraging the smooth geometry of the learned diffusion embedding, TGE captures long-horizon temporal dynamics and effectively bridges the gap between disjoint supports, ensuring a robust learning signal even when offline data is distributionally distinct from the expert. Empirically, the proposed approach consistently matches or outperforms prior offline LfO methods across a range of D4RL locomotion and manipulation benchmarks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI