日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

拡散ポリシー/選好学習arXiv:2602.00886

RoDiF: 破損した人間フィードバックに頑健な拡散ポリシーの直接ファインチューニング

RoDiF: Robust Direct Fine-Tuning of Diffusion Policies with Corrupted Human Feedback

シェア:XThreadsFacebookLINEはてブBluesky

拡散ポリシーのファインチューニングにDPOを適用する統一MDP定式化を提案し、人間の選好ラベルにノイズがあっても頑健に学習できるRoDiFを開発した。

詳しい要約

1. どんなもの?

- 拡散ポリシーを人間の選好でファインチューニングする手法。 - 拡散のノイズ除去過程と環境動学を統合した Unified MDP を提案。 - 報酬なしの Direct Preference Optimization (DPO) を拡散ポリシーに適用。 - 破損した人間の選好に対処する Robust Direct Fine-Tuning (RoDiF) を提案。 - 長期的な操作タスクで有効性を検証。

2. 先行研究と比べてどこがすごい?

- 従来の DPO は拡散ポリシーの多段階ノイズ除去に直接適用困難。 - 報酬モデル不要で選好最適化を可能にした点が新しい。 - 破損した選好ラベルに対して頑健性を実現。 - 特定のノイズ分布を仮定せずに頑健性を達成。 - 最先端ベースラインを上回る性能を長期的操作タスクで示す。

3. 技術・手法の肝は?

- 拡散のノイズ除去連鎖と環境動学を統合した Unified MDP を定式化。 - DPO 目的関数を幾何学的仮説切断の視点で再解釈。 - 保守的切断戦略を採用し、ノイズ分布の仮定なしで頑健性を実現。 - 事前学習済み拡散ポリシーを人間選好モードに誘導。 - 多様なアーキテクチャの拡散ポリシーに適用可能。

4. どうやって有効だと検証した?

- 長期的な操作タスクで実験を実施。 - 最先端ベースラインと比較し、一貫して上回る性能を確認。 - 30% の破損した選好ラベル下でも強い性能を維持。 - 多様なアーキテクチャの拡散ポリシーを人間選好モードに誘導できることを検証。

5. 議論はある?

- 破損した人間の選好に対する頑健性の重要性を指摘。 - 特定のノイズ分布を仮定しない保守的切断戦略の有効性を議論。 - 拡散ポリシーのファインチューニングにおける多段階構造の課題を克服。 - 他のタスクやアーキテクチャへの一般化可能性は要旨からは不明。

6. 次に読むべき論文は?

- Direct Preference Optimization (DPO) に関する論文。 - Diffusion Policies のファインチューニングに関する研究。 - 人間の選好を用いたロボット制御の研究。 - 拡散モデルと強化学習の統合に関する論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Amitesh Vatsa, Zhixian Xie, Wanxin Jin

分類: cs.RO, cs.LG

原文アブストラクト

Diffusion policies are a powerful paradigm for robotic control, but fine-tuning them with human preferences is fundamentally challenged by the multi-step structure of the denoising process. To overcome this, we introduce a Unified Markov Decision Process (MDP) formulation that coherently integrates the diffusion denoising chain with environmental dynamics, enabling reward-free Direct Preference Optimization (DPO) for diffusion policies. Building on this formulation, we propose RoDiF (Robust Direct Fine-Tuning), a method that explicitly addresses corrupted human preferences. RoDiF reinterprets the DPO objective through a geometric hypothesis-cutting perspective and employs a conservative cutting strategy to achieve robustness without assuming any specific noise distribution. Extensive experiments on long-horizon manipulation tasks show that RoDiF consistently outperforms state-of-the-art baselines, effectively steering pretrained diffusion policies of diverse architectures to human-preferred modes, while maintaining strong performance even under 30% corrupted preference labels.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI