日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2601.02078

Genie Sim 3.0:ヒューマノイドロボット向け高忠実度統合シミュレーションプラットフォーム

Genie Sim 3.0 : A High-Fidelity Comprehensive Simulation Platform for Humanoid Robot

シェア:XThreadsFacebookLINEはてブBluesky

LLMで自然言語から高忠実度シーンを生成し、VLMによる自動評価を可能にするロボットマニピュレーション用シミュレーションプラットフォームを提案。1万時間超の合成データセットを公開し、ゼロショットのsim-to-real転移を実証した。

詳しい要約

1. どんなもの?

- ヒューマノイドロボット向けの高忠実度シミュレーションプラットフォーム「Genie Sim 3.0」を提案。 - ロボットマニピュレーションのための統合シミュレーション環境。 - LLMを活用したシーン生成ツール「Genie Sim Generator」を搭載。 - 自然言語指示から高忠実度シーンを構築可能。 - 自動評価のためのLLMベースのベンチマークを初めて導入。 - 10,000時間以上の合成データと200以上のタスクを含むオープンソースデータセットを公開。

2. 先行研究と比べてどこがすごい?

- 従来のシミュレーションベンチマークは断片化、範囲の狭さ、忠実度不足によりsim-to-real転送が困難。 - 物理世界でのデータ収集はコストとスケーラビリティに課題。 - Genie Sim 3.0は統合プラットフォームで、LLMによるシーン生成と自動評価を実現。 - 迅速かつ多次元の一般化を可能にし、多様な環境合成をサポート。 - 初のLLM自動評価ベンチマークを提供。

3. 技術・手法の肝は?

- LLMを活用した「Genie Sim Generator」が自然言語指示から高忠実度シーンを生成。 - 多次元一般化により多様な環境を合成し、スケーラブルなデータ収集とポリシー評価を支援。 - LLMで評価シナリオを大量生成し、VLMで自動評価パイプラインを構築。 - 10,000時間以上の合成データと200以上のタスクを含むデータセットを公開。

4. どうやって有効だと検証した?

- 体系的な実験により、オープンソースデータセットの堅牢なゼロショットsim-to-real転送能力を検証。 - 制御条件下で合成データが実世界データの効果的な代替となり得ることを実証。 - スケーラブルなポリシー訓練に有効であることを確認。

5. 議論はある?

- 合成データが実世界データの代替として有効であることを示唆。 - ただし、制御条件下での結果であり、一般的な実世界環境への適用可能性については議論の余地がある。 - 詳細な議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、sim-to-real転送に関する研究(例:Domain Randomization, Sim-to-Real Transfer)や、ロボットマニピュレーションのベンチマーク(例:RLBench, Meta-World)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenghao Yin, Da Huang, Di Yang, Jichao Wang, Nanshu Zhao, Chen Xu, Wenjun Sun, Linjie Hou, Zhijun Li, Junhui Wu, Zhaobo Liu, Zhen Xiao, Sheng Zhang, Lei Bao, Rui Feng, Zhenquan Pang, Jiayu Li, Qian Wang, Maoqing Yao

分類: cs.RO

原文アブストラクト

The development of robust and generalizable robot learning models is critically contingent upon the availability of large-scale, diverse training data and reliable evaluation benchmarks. Collecting data in the physical world poses prohibitive costs and scalability challenges, and prevailing simulation benchmarks frequently suffer from fragmentation, narrow scope, or insufficient fidelity to enable effective sim-to-real transfer. To address these challenges, we introduce Genie Sim 3.0, a unified simulation platform for robotic manipulation. We present Genie Sim Generator, a large language model (LLM)-powered tool that constructs high-fidelity scenes from natural language instructions. Its principal strength resides in rapid and multi-dimensional generalization, facilitating the synthesis of diverse environments to support scalable data collection and robust policy evaluation. We introduce the first benchmark that pioneers the application of LLM for automated evaluation. It leverages LLM to mass-generate evaluation scenarios and employs Vision-Language Model (VLM) to establish an automated assessment pipeline. We also release an open-source dataset comprising more than 10,000 hours of synthetic data across over 200 tasks. Through systematic experimentation, we validate the robust zero-shot sim-to-real transfer capability of our open-source dataset, demonstrating that synthetic data can server as an effective substitute for real-world data under controlled conditions for scalable policy training. For code and dataset details, please refer to: https://github.com/AgibotTech/genie_sim.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI