日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

変形物操作/sim2realarXiv:2606.15338

SimWeaver: 変形物操作のためのゼロショットRGBシミュレーションから実世界への転移

SimWeaver: Zero-Shot RGB Sim-to-Real for Deformable Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

変形物操作のためのRGBシミュレーションから実世界への転移を、実世界での微調整なしで実現する手法を提案。シミュレーション上のデモンストレーションのみで訓練したVLAポリシーが、5つの多様な変形物タスクで高い成功率を達成した。

詳しい要約

1. どんなもの?

SimWeaverは、変形可能物体の操作におけるRGB sim-to-realを、実世界でのfine-tuningなしに実現するzero-shot RGB VLA policyの学習フレームワーク。 - 5つの多様なdeformableタスク(plastic-bag操作を含む)で、タスクあたり200のシミュレーションdemonstrationのみを用いて学習。 - 実世界成功率はタスクあたり80%超、平均91%を達成。 - teleoperationやタスクごとのcalibrationを必要としない。 - SimWeaver-Sim、SimWeaver-Asset、SimWeaver-Syn、SimWeaver-Realの4要素で構成。

2. 先行研究と比べてどこがすごい?

従来、変形可能物体のRGB sim-to-realは実世界fine-tuningなしではほぼ未解決だった。 - SimWeaverはzero-shotで実世界に転移し、平均91%の成功率を達成。 - silk graspingでは、視覚的distribution shift下でsim-trained policyが100%に達する一方、real-data baselinesは9-70%に低下。 - 軌道あたりのコストはreal-data baselinesより2桁低い。 - teleoperationやタスクごとのcalibrationが不要である点が先行研究と異なる。

3. 技術・手法の肝は?

SimWeaverの肝は、測定に基づく信頼性の高いシミュレータと拡張可能なasset frameworkの組み合わせ。 - SimWeaver-Sim: 測定に裏打ちされた信頼性の高いシミュレータ。 - SimWeaver-Asset: 単一画像生成をサポートする拡張可能なasset framework。 - SimWeaver-Syn: 決定論的でトポロジーを考慮した軌道合成器。 - SimWeaver-Real: ISPを考慮したphotometric augmentationを含むsim-to-realプロトコル。 - これらにより、タスクあたり200のシミュレーションdemonstrationからzero-shot RGB VLA policyを学習。

4. どうやって有効だと検証した?

5つの多様なdeformableタスク(plastic-bag操作を含む)で実世界評価を実施。 - タスクあたり200のシミュレーションdemonstrationで学習し、zero-shotで実世界に転移。 - タスクあたり成功率80%超、平均91%を達成。 - silk graspingでは、視覚的distribution shift下でsim-trained policyが100%に達し、real-data baselinesの9-70%を上回った。 - 軌道あたりのコストがreal-data baselinesより2桁低いことも示された。

5. 議論はある?

要旨からは不明。 - 限界や失敗事例、計算コスト、シミュレータの汎化性に関する議論は要旨に記載されていない。 - 今後の課題や倫理的影響についても要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、deformable manipulationのsim-to-real、RGB VLA policies、domain randomization、photometric augmentation、zero-shot transferに関する研究が次に読むべき候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenkang Hu, Haoran Wang, Yitong Li, Liu Liu, Mengao Zhao, Lai Jiang, Xincheng Tang, Junhang Wei, Zhengjie Shu, Zhendong Wang, Zhizhong Su, Huamin Wang, Ruigang Yang

分類: cs.RO

原文アブストラクト

RGB sim-to-real for deformable manipulation has remained largely unsolved without real-world fine-tuning. We present SimWeaver, which trains zero-shot RGB VLA policies on 200 simulated demonstrations per task, reaching above 80% per-task and 91% average real-world success across 5 diverse deformable tasks including plastic-bag manipulation, without teleoperation or per-task calibration. SimWeaver combines a reliable measurement-backed simulator (SimWeaver-Sim) with an extensible asset framework supporting single-image generation(SimWeaver-Asset), a deterministic topology-aware trajectory synthesizer (SimWeaver-Syn), and a sim-to-real protocol with ISP-aware photometric augmentation (SimWeaver-Real). On silk grasping, the sim-trained policy reaches 100% under visual distribution shifts where real-data baselines drop to 9-70%, at two orders of magnitude lower per-trajectory cost. We will release SimWeaver and a representative asset subset. Project page: https://simweaver.github.io/

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI