日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2506.18088

RoboTwin 2.0:強力なドメインランダム化を備えた両腕ロボット操作のためのスケーラブルなデータ生成器とベンチマーク

RoboTwin 2.0: A Scalable Data Generator and Benchmark with Strong Domain Randomization for Robust Bimanual Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

両腕ロボット操作のための大規模データ生成フレームワークを提案し、マルチモーダル言語モデルによるタスク生成と5軸のドメインランダム化で実世界への転移性能を大幅に向上させた。

詳しい要約

1. どんなもの?

- RoboTwin 2.0 は、dual-arm manipulation 向けのスケーラブルなデータ生成フレームワーク兼ベンチマーク - 多様で現実的なデータを自動・大規模生成する仕組みを提供 - dual-arm manipulation の統一評価プロトコルを整備 - 中核は RoboTwin-OD - 147 カテゴリ・731 インスタンスの物体ライブラリ - 意味情報と manipulation 関連のアノテーションを付与 - 50 の dual-arm タスクと 5 種類の robot embodiments に適用 - データ生成器・ベンチマーク・データセット・コードを公開

2. 先行研究と比べてどこがすごい?

- 既存データセットは robust bimanual manipulation には不十分と指摘 - スケーラブルなタスク生成手法の欠如 - 過度に単純化された simulation 環境 - RoboTwin 2.0 はこの 2 点に対処 - MLLMs と simulation-in-the-loop refinement によるタスク実行コードの自動生成 - 5 軸の structured domain randomization で環境多様性を強化 - 具体的改善として code generation 成功率が 10.9% 向上 - 実ロボット 10 デモ併用の VLA モデルで 367% の相対改善、synthetic のみの zero-shot で 228% 向上

3. 技術・手法の肝は?

- RoboTwin-OD と呼ぶ物体ライブラリを基盤に構築 - 147 カテゴリ・731 インスタンス、semantic および manipulation 関連アノテーション付き - expert data synthesis pipeline を設計 - multimodal language models (MLLMs) を活用 - simulation-in-the-loop refinement でタスクレベル実行コードを自動生成 - sim-to-real transfer 向上のため structured domain randomization を 5 軸で適用 - clutter、lighting、background、tabletop height、language - 50 タスク・5 embodiments にインスタンス化してデータ生成と評価を実施

4. どうやって有効だと検証した?

- code generation の成功率で 10.9% の向上を報告 - 下流の policy learning で評価 - synthetic データと実ロボット 10 デモで学習した VLA モデルが、10 デモのみの baseline 比で 367% の相対改善 - synthetic データのみで学習した zero-shot モデルが 228% の向上 - これらにより sim-to-real transfer と環境変動への robustness が強化されたと主張 - 詳細な評価設定・指標の定義は要旨からは不明

5. 議論はある?

- 著者は sim-to-real transfer と環境変動への robustness 強化を結論づけ - 貢献として data generator、benchmark、dataset、code の公開を明示 - 限界・失敗事例・計算コスト・domain randomization 各軸の寄与分析は要旨からは不明 - 実ロボット実験の規模や被験タスクの範囲も要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は明示されていない - 関連手法として以下を挙げる - simulation-based data synthesis の既存データセット研究 - multimodal language models (MLLMs) を用いたコード生成 - simulation-in-the-loop refinement - structured domain randomization - VLA モデルによる dual-arm manipulation - 同分野の定番として sim-to-real transfer と bimanual manipulation benchmark の関連研究を参照すべき(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianxing Chen, Zanxin Chen, Baijun Chen, Zijian Cai, Yibin Liu, Zixuan Li, Qiwei Liang, Xianliang Lin, Yiheng Ge, Zhenyu Gu, Weiliang Deng, Yubin Guo, Tian Nian, Xuanbing Xie, Qiangyu Chen, Kailun Su, Tianling Xu, Guodong Liu, Mengkang Hu, Huan-ang Gao, Kaixuan Wang, Zhixuan Liang, Yusen Qin, Xiaokang Yang, Ping Luo, Yao Mu

分類: cs.RO, cs.AI, cs.CL, cs.CV, cs.MA

原文アブストラクト

Simulation-based data synthesis has emerged as a powerful paradigm for advancing real-world robotic manipulation. Yet existing datasets remain insufficient for robust bimanual manipulation due to (1) the lack of scalable task generation methods and (2) oversimplified simulation environments. We present RoboTwin 2.0, a scalable framework for automated, large-scale generation of diverse and realistic data, together with unified evaluation protocols for dual-arm manipulation. At its core is RoboTwin-OD, an object library of 731 instances across 147 categories with semantic and manipulation-relevant annotations. Building on this, we design an expert data synthesis pipeline that leverages multimodal language models (MLLMs) and simulation-in-the-loop refinement to automatically generate task-level execution code. To improve sim-to-real transfer, RoboTwin 2.0 applies structured domain randomization along five axes: clutter, lighting, background, tabletop height, and language, enhancing data diversity and policy robustness. The framework is instantiated across 50 dual-arm tasks and five robot embodiments. Empirically, it yields a 10.9% gain in code generation success rate. For downstream policy learning, a VLA model trained with synthetic data plus only 10 real demonstrations achieves a 367% relative improvement over the 10-demo baseline, while zero-shot models trained solely on synthetic data obtain a 228% gain. These results highlight the effectiveness of RoboTwin 2.0 in strengthening sim-to-real transfer and robustness to environmental variations. We release the data generator, benchmark, dataset, and code to support scalable research in robust bimanual manipulation. Project Page: https://robotwin-platform.github.io/, Code: https://github.com/robotwin-Platform/robotwin/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI