日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2606.08154

SynthICL: 合成データによるスケーラブルな文脈内模倣学習

SynthICL: Scalable In-context Imitation Learning with Synthetic Data

シェア:XThreadsFacebookLINEはてブBluesky

RGBのみの合成データで文脈内模倣学習ポリシーを訓練し、実世界の未見タスクで高い成功率を達成した。

詳しい要約

1. どんなもの?

- 本研究は、SynthICLと呼ばれる、RGBのみの合成データからin-context imitation learning (ICIL) ポリシーを訓練するスケーラブルなフレームワークを提案する。 - ICILは、事前訓練されたポリシーをタスク固有の例に条件付けすることで、テスト時に再訓練なしに少数のデモンストレーションから新しいタスクを学習することを可能にする。 - SynthICLは、高忠実度のICILデータを生成するパイプラインを構築し、flow-matching transformerポリシーを訓練する。 - 深度センシング、正確なカメラキャリブレーション、実世界訓練データの必要性を回避し、よりシンプルでスケーラブルな代替手段を提供する。 - サブゴール予測を組み込み、次のサブゴール画像を予測するようにモデルを訓練することで、より正確で視覚的に根拠のある制御を可能にする。

2. 先行研究と比べてどこがすごい?

- 先行研究では、ICILポリシーの訓練に深度センシングや正確なカメラキャリブレーション、実世界訓練データが必要であったが、SynthICLはこれらを不要にし、RGBのみの合成データで訓練する。 - これにより、よりシンプルでスケーラブルなアプローチを実現し、一般化可能でスケーラブルなin-context imitationポリシーの訓練という未解決の課題に取り組む。 - 16の未見の実世界マニピュレーションタスクで、テスト時に1つのデモのみで平均成功率79%を達成し、先行手法を上回る性能を示した。

3. 技術・手法の肝は?

- RGBのみの合成データを生成するデータ生成パイプラインを構築し、高忠実度のICILデータを生成する。 - 生成されたデータセット上でflow-matching transformerポリシーを訓練する。 - サブゴール予測を組み込み、モデルが次のサブゴール画像を予測するように訓練することで、より正確で視覚的に根拠のある制御を実現する。 - 深度センシングや正確なカメラキャリブレーションを必要とせず、実世界訓練データも不要。

4. どうやって有効だと検証した?

- 16の未見の実世界マニピュレーションタスクで評価を実施。 - テスト時に1つのデモンストレーションのみを提供した条件で、平均成功率79%を達成。 - 先行手法と比較して性能が上回ることを示した。

5. 議論はある?

- 要旨からは、議論や限界についての具体的な言及は不明。 - ただし、RGBのみの合成データで訓練しながら実世界タスクに一般化できる点が強調されており、スケーラビリティと簡素化が利点として挙げられている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法としてin-context imitation learning (ICIL) やflow-matching transformer、サブゴール予測を用いた模倣学習の論文が挙げられる。 - 同分野の定番として、imitation learning (Behavior Cloning, Inverse Reinforcement Learning) やin-context learning (ICL) の研究が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Cheng Qian, Ruomeng Fan, Yifei Ren, Yilong Wang, Edward Johns

分類: cs.RO

原文アブストラクト

In-context imitation learning (ICIL) enables robots to learn new tasks from a small number of demonstrations by conditioning a pre-trained policy on task-specific examples, without retraining at test time. Despite this promise, training generalizable and scalable in-context imitation policies remains an open challenge. We present SynthICL, a scalable framework that trains ICIL policies entirely from RGB-only synthetic data. Specifically, we build a data generation pipeline to produce high-fidelity ICIL data and train a flow-matching transformer policy on the resulting dataset. SynthICL avoids the need for depth sensing, precise camera calibration, and real-world training data in prior approaches, offering a simpler and more scalable alternative. We further incorporate subgoal prediction by training the model to predict the next subgoal images, enabling more precise and visually grounded control. Evaluated on 16 unseen real-world manipulation tasks, SynthICL achieves an average success rate of 79% with only one demonstration provided at test time and outperforms prior methods. Project page: https://synth-icl.github.io

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI