日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2509.20070

LLM Trainer: 大規模言語モデルによる実演拡張を用いたロボットデータ自動生成

LLM Trainer: Automated Robotic Data Generation via Demonstration Augmentation using LLMs

シェア:XThreadsFacebookLINEはてブBluesky

少数の人間の実演から大規模言語モデルの世界知識を活用して模倣学習用のロボットデータセットを自動生成するパイプラインを提案し、実機で有効性を示した。

詳しい要約

1. どんなもの?

- 少数の人間による demonstration(最小1件)から、LLM の world knowledge を用いて模倣学習用の大規模ロボット dataset を自動生成する fully automated pipeline「LLM Trainer」 - demonstration 生成を (1) offline demonstration annotation と (2) online keypose retargeting の2段階に分解 - 生成した trajectory を実行し、成功した demo のみ保存する仕組み - Franka Emika Panda 上で hardware feasibility も示す

2. 先行研究と比べてどこがすごい?

- 少数 demonstration からの data augmentation を、LLM の world knowledge で自動化する点が特徴 - 従来の expert-engineered な baseline に対し、提案する data annotation 手法が一貫して優位と報告 - annotation を scene 間で再利用可能とし、Thompson sampling で最適化することで生成成功率を大幅改善 - 最適化された LLM feed-forward plan と learned feedback imitation learning controller を組み合わせる ensemble policy も提示

3. 技術・手法の肝は?

- offline demonstration annotation: keyframes、salient objects、pose-object relations を抽出 - online keypose retargeting: 初期 observation を与え、keyframes を新 scene に適応 - 修正 keypoints で元 demonstration を warp して新 trajectory を生成・実行し、成功 demo を保存 - annotation が scene 横断で再利用可能な点を活かし、Thompson sampling で annotation を最適化 - ensemble policy として LLM feed-forward plan と learned feedback imitation learning controller を統合

4. どうやって有効だと検証した?

- 複数タスクで評価し、data annotation 手法が expert-engineered baselines を一貫して上回ることを確認 - Thompson sampling による annotation 最適化が生成成功率を大きく改善することを示す - optimized LLM feed-forward plan と learned feedback imitation learning controller の ensemble policy を評価 - Franka Emika Panda ロボットで hardware feasibility を実証 - 詳細な実験設定・指標は要旨からは不明

5. 議論はある?

- 生成 demo は実行後に成功判定され、成功したもののみ保存される枠組み - annotation の scene 間再利用性と Thompson sampling による最適化が成功率に寄与 - LLM の feed-forward plan と learned feedback controller の ensemble の有効性に言及 - 失敗 case の分析、限界、一般化可能性、必要 demonstration 数などの詳細は要旨からは不明

6. 次に読むべき論文は?

- imitation learning における demonstration augmentation 関連研究 - LLM をロボット計画に用いる手法(LLM-based task planning / code generation 系) - keypoint / keypose retargeting を用いた trajectory 生成研究 - Thompson sampling によるハイパーパラメータ・設計最適化の応用 - ensemble policy や feedback controller と feed-forward plan の統合に関する研究 - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Abraham George, Amir Barati Farimani

分類: cs.RO

原文アブストラクト

We present LLM Trainer, a fully automated pipeline that leverages the world knowledge of Large Language Models (LLMs) to transform a small number of human demonstrations (as few as one) into a large robot dataset for imitation learning. Our approach decomposes demonstration generation into two steps: (1) offline demonstration annotation that extracts keyframes, salient objects, and pose-object relations; and (2) online keypose retargeting that adapts those keyframes to a new scene, given an initial observation. Using these modified keypoints, our system warps the original demonstration to generate a new trajectory, which is then executed, and the resulting demo, if successful, is saved. Because the annotation is reusable across scenes, we use Thompson sampling to optimize the annotation, significantly improving generation success rate. We evaluate our method on a range of tasks, and find that our data annotation method consistently outperforms expert-engineered baselines. We further show an ensemble policy that combines the optimized LLM feed-forward plan with a learned feedback imitation learning controller. Finally, we demonstrate hardware feasibility on a Franka Emika Panda robot. For additional materials and demonstration videos, please see the project website: https://sites.google.com/andrew.cmu.edu/llm-trainer

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI