日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2511.12912

DiffuDepGrasp: 拡散モデルによる深度ノイズモデリングで実現するSim2Realロボット把持

DiffuDepGrasp: Diffusion-based Depth Noise Modeling Empowers Sim2Real Robotic Grasping

シェア:XThreadsFacebookLINEはてブBluesky

拡散モデルで実機深度センサのノイズを学習・合成し、シミュレーションのみで訓練した把持方策をゼロショットで実機に転移するフレームワークを提案。

詳しい要約

1. どんなもの?

- 実世界のdepth mapに含まれるvoidやnoiseといったsensor artifactsがsim2real gapを生み、simulationで学習したdepth-based end-to-end grasping policyの物理ロボットへの転移を妨げる問題に取り組む研究。 - DiffuDepGraspと名付けたdeploy-efficientなsim2real frameworkを提案し、simulationのみでのpolicy学習によるzero-shot transferを可能にする。 - 展開時はraw depth入力のみで動作し、追加の計算オーバーヘッドを排除する。

2. 先行研究と比べてどこがすごい?

- procedural noise injectionやlearned mappingsといったtraining-time戦略は、非現実的なnoise simulationによりdata inefficiencyを抱え、fine manipulationを要するgraspingでは不十分。 - paired datasetsに強く依存する手法も同様にデータ効率が悪い。 - foundation modelsをintermediate representations経由で用いる手法はdomain shiftを完全には緩和できず、deployment時に計算オーバーヘッドが増える。 - 本手法はdata inefficiencyとdeployment complexityの二重課題に同時に対処する点が新しい。

3. 技術・手法の肝は?

- 中核はDiffusion Depth Generatorで、geometrically pristineなsimulation depthに対し学習したsensor-realistic noiseを合成する。 - 第1のDiffusion Depth Moduleはtemporal geometric priorsを活用し、複雑なsensor noise分布を捉えるconditional diffusion modelのsample-efficientな学習を可能にする。 - 第2のNoise Grafting Moduleはperceptual artifact注入時にmetric accuracyを保持する。 - これら2モジュールの相乗効果で、simulation専用のpolicy学習とzero-shot transferを実現する。

4. どうやって有効だと検証した?

- 12-object graspingタスクにおいて、zero-shot transferで平均95.7%のsuccess rateを達成。 - 未見物体(unseen objects)への強いgeneralizationも示した。 - 展開時はraw depth入力のみを使用。 - 詳細な実験設定や比較対象は要旨からは不明。

5. 議論はある?

- 提案手法はdata inefficiencyとdeployment complexityの同時解決を主張するが、限界や失敗ケースについての議論は要旨からは不明。 - 12-objectでの評価にとどまり、より多様なタスクや環境への汎化性の議論は要旨からは不明。 - diffusion modelの学習コストやNoise Grafting Moduleの詳細な設計上のトレードオフは要旨からは不明。

6. 次に読むべき論文は?

- procedural noise injectionやlearned mappingsを用いたsim2real grasping研究(要旨で比較対象として言及)。 - foundation modelsをintermediate representationsとして用いるsim2real転移手法(要旨で言及)。 - conditional diffusion modelを用いたsensor noise modelingに関する研究(関連手法として)。 - sim2real gapを扱うdepth-based graspingの定番研究として、domain randomizationやdomain adaptationの一般的な手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yingting Zhou, Wenbo Cui, Weiheng Liu, Guixing Chen, Haoran Li, Dongbin Zhao

分類: cs.RO

原文アブストラクト

Transferring the depth-based end-to-end policy trained in simulation to physical robots can yield an efficient and robust grasping policy, yet sensor artifacts in real depth maps like voids and noise establish a significant sim2real gap that critically impedes policy transfer. Training-time strategies like procedural noise injection or learned mappings suffer from data inefficiency due to unrealistic noise simulation, which is often ineffective for grasping tasks that require fine manipulation or dependency on paired datasets heavily. Furthermore, leveraging foundation models to reduce the sim2real gap via intermediate representations fails to mitigate the domain shift fully and adds computational overhead during deployment. This work confronts dual challenges of data inefficiency and deployment complexity. We propose DiffuDepGrasp, a deploy-efficient sim2real framework enabling zero-shot transfer through simulation-exclusive policy training. Its core innovation, the Diffusion Depth Generator, synthesizes geometrically pristine simulation depth with learned sensor-realistic noise via two synergistic modules. The first Diffusion Depth Module leverages temporal geometric priors to enable sample-efficient training of a conditional diffusion model that captures complex sensor noise distributions, while the second Noise Grafting Module preserves metric accuracy during perceptual artifact injection. With only raw depth inputs during deployment, DiffuDepGrasp eliminates computational overhead and achieves a 95.7% average success rate on 12-object grasping with zero-shot transfer and strong generalization to unseen objects.Project website: https://diffudepgrasp.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI