日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2610.18188

OneDemo: 単一デモンストレーションからの統合的な方策学習とデータ生成

OneDemo: Unified Policy Learning and Data Generation from a Single Demonstration

シェア:XThreadsFacebookLINEはてブBluesky

単一の成功デモンストレーションを強化学習で編集し、新しいタスク設定に対応する方策学習とデモンストレーション生成を同時に実現するフレームワークを提案。

詳しい要約

1. どんなもの?

- 単一の成功デモンストレーションからロボットのポリシー学習とデータ生成を統合するフレームワークOneDemoを提案。 - 強化学習を用いて、単一の成功デモを新しいタスク設定に合わせて編集する。 - 編集器はタスクポリシーとしても、再利用可能なデモ生成器としても機能する。

2. 先行研究と比べてどこがすごい?

- 既存の拡張手法は手動設計の変換ルールや複雑な軌道計画に依存し、タスク固有のエンジニアリングと人的労力が大きい。 - OneDemoはスパースなタスク成功報酬から編集を学習し、手動設計を不要にする。 - 単一デモから多様な成功軌道を生成し、ポリシー学習とデータ生成の両方に有効。

3. 技術・手法の肝は?

- デモ編集を構造化強化学習問題として定式化。 - 編集器は、オブジェクト中心の軌道セグメント間の遷移タイミングと、各セグメントの幾何学的適応方法を学習する。 - スパースなタスク成功報酬を利用して編集器を訓練。

4. どうやって有効だと検証した?

- 15のMeta-Worldタスクで評価し、平均53.7k環境インタラクションで92.7%の成功率を達成。 - 9のDexMimicGenタスクで、平均98.4%の成功率で成功デモを生成。 - 生成データで訓練したBC-RNNポリシーは、同じデータセット規模で平均99.6%の成功率を達成。

5. 議論はある?

- 単一の成功デモを編集する学習が、ポリシー学習とスケーラブルなデモ生成の両方に構造的で効果的な基盤を提供することを示す。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- Meta-World(15タスク)およびDexMimicGen(9タスク)のベンチマーク。 - BC-RNN(Behavior Cloning with Recurrent Neural Networks)。 - 関連手法として、手動設計の変換ルールや複雑な軌道計画に基づくデモ拡張手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ying Qian, Jianshu Hu, Han Fang, Shuguang Li, Yutong Ban

分類: cs.RO

原文アブストラクト

Learning robot policies from demonstrations is often limited by the cost of collecting diverse, high-quality expert data. While an appealing alternative is to expand a single successful demonstration into a diverse set of successful trajectories, existing augmentation methods typically rely on manually designed transformation rules or complex trajectory planning, requiring substantial task-specific engineering and human effort. We introduce OneDemo, a reinforcement learning framework that learns to edit a single successful demonstration for new task configurations. We formulate demonstration editing as a structured reinforcement learning problem, in which an editor learns, from sparse task-success rewards, both when to transition between object-centric trajectory segments and how to geometrically adapt each segment. The learned editor serves both as a task policy and as a reusable demonstration generator. Across 15 Meta-World tasks, OneDemo reaches a 92.7% success rate within 53.7k environment interactions on average. Across 9 DexMimicGen tasks, it generates successful demonstrations with a 98.4% average success rate, and BC-RNN policies trained on the generated data achieve 99.6% average success at matched dataset scale. These results show that learning to edit a single successful demonstration provides a structured and effective basis for both policy learning and scalable demonstration generation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI