日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

拡散ポリシーarXiv:2509.16830

観測モダリティの優先順位付けを可能にする因子化拡散ポリシー

Factorizing Diffusion Policies for Observation Modality Prioritization

シェア:XThreadsFacebookLINEはてブBluesky

拡散ポリシーにおいて観測モダリティを因子化することで、タスクに応じて特定のモダリティを優先できるようにし、低データ領域での性能と分布シフトに対する堅牢性を向上させた。

詳しい要約

1. どんなもの?

- ロボット技能をdemonstrationsから学習するDiffusion Policyの新定式化『Factorized Diffusion Policies (FDP)』 - 観測modality(proprioception, vision, tactile等)がaction diffusion processに与える影響度を設計上異ならせられる - 例として vision>tactile や proprioception>vision のような優先順位付けを可能にする - 低データ領域やdistribution shift下での性能・頑健性向上を狙う

2. 先行研究と比べてどこがすごい?

- 従来のDiffusion Policyは全入力modalityをjointlyにconditioningするため、タスクごとに異なるmodalityの影響度の差を捉えられない - FDPは観測conditioningをfactorizeすることでmodalityごとの影響度を設計可能にした点が新しい - 標準的なjoint conditioningのDiffusion Policyと比較して、低データ領域でsuccess rateが絶対値15%改善 - visual distractorやcamera occlusionなどのdistribution shift下で絶対値40%高いsuccess rateを示し、既存手法が破綻する状況でも頑健

3. 技術・手法の肝は?

- observational conditioningをfactorizeすることでaction diffusion processへの各modalityの寄与を分離 - これにより特定modalityを他より優先するpolicy設計(例: vision>tactile, proprioception>vision)を実現 - 設計上modality prioritizationが組み込まれるため、より高性能かつ頑健なpolicyが得られると主張 - 詳細な数式やfactorizationの具体的構成は要旨からは不明

4. どうやって有効だと検証した?

- 複数のsimulated benchmarksで標準的なjoint conditioningのDiffusion Policyと比較し、低データ領域でsuccess rateの絶対値15%改善を報告 - benchmarkおよびreal-world experimentsで、visual distractorやcamera occlusion等のdistribution shift下のvisuomotorタスクにおいて絶対値40%高いsuccess rateを確認 - 既存Diffusion Policyがcatastrophically失敗する状況での頑健性を実証 - 動画はプロジェクトページで公開

5. 議論はある?

- FDPはreal-world deploymentに対してより安全で頑健な代替手段になると主張 - 既存Diffusion Policyがdistribution shift下で破綻する問題への対処として位置づけ - modality prioritizationの設計指針や限界、factorizationの一般性については要旨からは不明 - 実世界展開における安全性の具体的評価は要旨からは不明

6. 次に読むべき論文は?

- 標準的なDiffusion Policy(joint conditioning版): 本論文の主要比較対象 - 要旨で参照/比較されている個別の関連研究は明示されていない - 関連手法として、modalityごとのconditioningを扱うDiffusion Policy系研究や、distribution shiftに頑健なvisuomotor policy学習の定番研究を次に読む候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Omkar Patil, Prabin Rath, Kartikay Pangaonkar, Eric Rosen, Nakul Gopalan

分類: cs.RO

原文アブストラクト

Diffusion models have been extensively leveraged for learning robot skills from demonstrations. These policies are conditioned on several observational modalities such as proprioception, vision and tactile. However, observational modalities have varying levels of influence for different tasks that diffusion polices fail to capture. In this work, we propose 'Factorized Diffusion Policies' abbreviated as FDP, a novel policy formulation that enables observational modalities to have differing influence on the action diffusion process by design. This results in learning policies where certain observations modalities can be prioritized over the others such as $\texttt{vision>tactile}$ or $\texttt{proprioception>vision}$. FDP achieves modality prioritization by factorizing the observational conditioning for diffusion process, resulting in more performant and robust policies. Our factored approach shows strong performance improvements in low-data regimes with $15\%$ absolute improvement in success rate on several simulated benchmarks when compared to a standard diffusion policy that jointly conditions on all input modalities. Moreover, our benchmark and real-world experiments show that factored policies are naturally more robust with $40\%$ higher absolute success rate across several visuomotor tasks under distribution shifts such as visual distractors or camera occlusions, where existing diffusion policies fail catastrophically. FDP thus offers a safer and more robust alternative to standard diffusion policies for real-world deployment. Videos are available at https://fdp-policy.github.io/fdp-policy/ .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI