日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2real/器用操作arXiv:2605.05241

DexSim2Real: 基礎モデルによる器用操作のシミュレーションから実世界への転移

DexSim2Real: Foundation Model-Guided Sim-to-Real Transfer for Generalizable Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルを用いてシミュレーション環境のパラメータを最適化し、触覚と視覚を融合するポリシーと段階的カリキュラムを組み合わせることで、器用操作のsim-to-real転移を大幅に改善した。

詳しい要約

1. どんなもの?

- シミュレーションで学習したdexterous manipulation方策を実機へ転移するSim-to-RealフレームワークDexSim2Realを提案。 - 3要素で構成。 - FM-DR: vision-language modelをvisual realism criticとして使い、閉ループCMA-ESでsimulation parameterを最適化。 - TVCAP: cross-attentionによるvisuo-tactile fusionをzero-shot sim-to-real RLに適応。 - PSC: LLM-based task decompositionを基盤に、contact-rich dexterous task向けdifficulty schedulerを追加。 - 6つの難タスクでblinded evaluationを実施。

2. 先行研究と比べてどこがすごい?

- 既存手法は手設計のdomain randomizationやタスク固有適応に依存し、多様なmanipulationへの汎化が限定的。 - DrEurekaのようなtext-based approachに対し、FM-DRはvisual feedbackを直接利用して補完。 - 実験でDrEurekaとDeXtremeを上回り、平均実機成功率78.2%、sim-to-real性能ギャップを8.3%まで低減。

3. 技術・手法の肝は?

- FM-DR: vision-language modelをvisual realism criticとし、閉ループCMA-ESでsimulation parameterを最適化。 - TVCAP: cross-attentionによるvisuo-tactile fusionをzero-shot sim-to-real RLに適応。 - PSC: LLM-based task decompositionにdifficulty schedulerを組み合わせ、contact-rich dexterous taskを段階的に学習。

4. どうやって有効だと検証した?

- 6つの難manipulationタスクでblinded evaluationを実施。 - 平均実機成功率78.2%を達成。 - DrEurekaおよびDeXtremeと比較し、sim-to-real性能ギャップを8.3%に低減。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- DrEureka - DeXtreme

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zijian Zeng, Fei Ding, Huiming Yang, Xianwei Li, Yuhao Liao

分類: cs.RO, cs.LG

原文アブストラクト

Sim-to-real transfer remains a critical bottleneck for deploying dexterous manipulation policies learned in simulation to real-world robots. Existing approaches rely on manually designed domain randomization or task-specific adaptation, limiting their generalizability across diverse manipulation scenarios. We present DexSim2Real, an integrated framework that leverages vision-language foundation models to bridge the sim-to-real gap for dexterous manipulation. Our system combines three components: (1) Foundation Model-Guided Domain Randomization (FM-DR), which uses a vision-language model as a visual realism critic to optimize simulation parameters via closed-loop CMA-ES, complementing text-based approaches like DrEureka with direct visual feedback; (2) a Tactile-Visual Cross-Attention Policy (TVCAP) that adapts cross-attention visuo-tactile fusion to zero-shot sim-to-real RL; and (3) a Progressive Skill Curriculum (PSC) that builds on LLM-based task decomposition with a difficulty scheduler tailored to contact-rich dexterous tasks. Extensive experiments on six challenging manipulation tasks with blinded evaluation demonstrate that DexSim2Real achieves a 78.2% average real-world success rate, outperforming DrEureka and DeXtreme while reducing the sim-to-real performance gap to only 8.3%.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI