日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習/拡散ポリシーarXiv:2606.01865

セット教師付き拡散ポリシー:修正を通じたアクションチャンク拡散の学習

Set-Supervised Diffusion Policy: Learning Action-Chunking Diffusion through Corrections

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの望ましくない動作と人間の修正動作のペアを利用し、拡散ポリシーを望ましいアクションチャンクのセットに整列させる新しい学習フレームワークを提案。

詳しい要約

1. どんなもの?

- ロボットマニピュレーション向けの新しい学習フレームワーク「Set-Supervised Diffusion Policy (SDP)」。 - Diffusion policy を人間の修正(corrections)から学習させる。 - 望ましくない行動と人間の修正行動のペア(contrastive action-chunk)を活用。 - 望ましい action-chunk の集合を構築し、それに整合するよう訓練。 - 複数タスクで性能向上、特にノイズデータへの頑健性が向上。 - 高品質な集約データセットを生成し、効率的な学習を可能にする。

2. 先行研究と比べてどこがすごい?

- 従来の behavior cloning や diffusion policy は distributional shift に弱く、展開中の人間介入が必要。 - 既存のデータ集約パイプラインや標準的な behavior cloning 損失は、望ましくない行動からの負の信号を無視。 - その結果、教師の行動に過学習し、高コストな expert data への依存が増大。 - SDP は負の信号を活用し、contrastive action-chunk から集合監督を導入。 - ノイズデータへの頑健性とデータ集約の品質で優位。

3. 技術・手法の肝は?

- 人間の修正から得られる正負の action-chunk ペアを利用。 - 望ましい action-chunk の集合(set)を構築。 - Diffusion policy をその集合に整合させる訓練パイプラインを設計。 - Contrastive action-chunk データに基づく集合監督(set-supervised)学習。 - 負の信号を明示的に活用し、過学習を抑制。

4. どうやって有効だと検証した?

- 複数のロボットマニピュレーションタスクで広範な実験を実施。 - SDP が一貫して policy 性能を改善することを示す。 - 特にノイズデータに対する頑健性で大きな向上。 - 高品質な集約データセットを生成し、効率的で信頼性の高い学習を可能にすることを確認。 - コードは公開されている。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、人間介入の頻度などについての議論は要旨では触れられていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Diffusion Policy、Behavior Cloning、Human-in-the-loop corrections、Data aggregation pipelines。 - 関連手法:Contrastive learning、Action-chunking。 - 同分野の定番:Imitation Learning、DAgger、Diffusion Models for Robotics。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhaoting Li, Gang Chen, Javier Alonso-Mora, Cosimo Della Santina, Jens Kober

分類: cs.RO

原文アブストラクト

Diffusion policies have recently emerged as a powerful framework for robotic manipulation. However, like other behavior cloning methods, they remain vulnerable to distributional shift, often requiring human-in-the-loop interventions to correct failures during deployment. These interactions naturally provide paired supervision in the form of the robot's undesired actions and the human teacher's corrective actions. Yet existing data aggregation pipelines and standard behavior cloning losses largely ignore this negative signal from undesired actions, leading to overfitting to teacher's actions and an increasing reliance on costly expert data. To address this limitation, we propose Set-Supervised Diffusion Policy (SDP), a novel learning framework that utilizes contrastive action-chunk data to train diffusion policies from human corrections. From paired positive and negative action-chunks, SDP constructs a set of desired action-chunks and designs a training pipeline that encourages the diffusion policy to align with the set. Through extensive experiments across multiple robotic manipulation tasks, we demonstrate that SDP consistently improves policy performance, with particularly strong gains in robustness to noisy data. Moreover, SDP induces high-quality aggregated datasets, enabling more efficient and reliable policy learning from human-in-the-loop corrections. Our code is available at https://set-supervised-diffusion-policy.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI