データセット/sim2real2026/11/12arXiv:2611.17060

Ropedia Xperience 2：フィジカルAIの環境と行動をスケールさせる基盤データセット

Ropedia Xperience 2: A Gold Standard for Scaling Physical AI Environments and Behaviors

実世界の3Dスキャン1,589件と74タスク・131時間の一人称視点記録を収集し、各データを物理シミュレーション環境やロボット全身軌道に変換して再利用可能にした、フィジカルAIのスケーリング則研究のための基盤データセットを提案した論文。

詳しい要約

1. どんなもの？

- Ropedia Xperience 2 は physical AI 向けのデータセット兼データ収集基盤 - 1,589 件の metric-scale 3D scans を公開 - 74 タスク・131 時間に及ぶ 4,230 件の egocentric recordings を収録 - 環境と人間行動を同時に取得する「gold standard」を提案 - 各 capture を robot learning 用に再利用可能にする - environments と behaviors の scaling laws 確立に向けたデータ基盤を狙う

2. 先行研究と比べてどこがすごい？

- GPT-6 Astra や Claude Fable 5.1 などの large foundation models は visual observations から直接ロボット制御できるが、real-world の long-horizon・contact-rich タスクでは brittle - 言語モデルは scaling laws が特徴づけられているが、physical AI では environments と behaviors に対する scaling が未解明 - 本論文は「どのデータをスケールすべきか」「どう継続的に生成・再利用するか」に応えるため、環境と行動の joint capture を gold standard として提示 - 単なる記録集ではなく、simulation 環境・robot trajectory へ変換して再利用する点が先行研究との差異(要旨ベース)

3. 技術・手法の肝は？

- 環境側: metric-scale 3D scans を physically interactive simulation environments に変換 - 行動側: human motion を whole-body robot trajectories に retarget - 追加の robot behaviors を二経路で生成 - virtual teleoperation - automated long-horizon trajectory generation - 環境と行動を同一 capture から派生させ、継続的に生産・再利用するデータパイプラインを構成

4. どうやって有効だと検証した？

- 各 capture が robot learning に再利用可能であることを示す - 3D scans から interactive simulation への変換 - human motion から whole-body robot trajectories への retarget - virtual teleoperation と automated long-horizon trajectory generation による behavior 生成 - 具体的な評価指標・ベンチマーク・定量結果は要旨からは不明

5. 議論はある？

- physical AI の capability が environments と behaviors の量に対してどう scaling するかが中心的問い - どのデータをスケールすべきか、どう生産・再利用するかというデータ設計の議論を提起 - long-horizon・contact-rich タスクでの brittleness が動機 - 具体的な限界・失敗事例・倫理的議論は要旨からは不明

6. 次に読むべき論文は？

- GPT-6 Astra(要旨で参照) - Claude Fable 5.1(要旨で参照) - language models の scaling laws に関する研究(要旨で言及) - 同分野の定番として robot learning 向け egocentric demonstration データセットや simulation benchmark 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hao Li, Fangzhou Hong, Zhaoxi Chen, Hui En Pang, Kairui Hu, Mingze Sun, Runmao Yao, Xinhao Ji, Xiyuan Zheng, Xuanli Chen, Yalun Dai, Yap Kim Hui, Dingwen Zhang, Yuanyuan Gao, Ziang Cao, Cheng Huang Yean, Jackson Peng, Rui Duan, Yaobo Liu, Zetong Wang, Ziwei Liu

分類: cs.CV

原文アブストラクト

Large foundation models such as GPT-6 Astra and Claude Fable 5.1 have recently been shown to control robots directly from visual observations. They nevertheless remain brittle on long-horizon, contact-rich tasks in real-world environments. Further progress depends on two complementary resources: demonstrations of human behavior that supervise how tasks are performed, and interactive environments in which policies can be rolled out, evaluated, and improved in closed loop. Language models have advanced along well-characterized scaling laws; the corresponding question for physical AI is how capability scales with environments and behaviors, which first requires identifying which data to scale and how to produce and reuse such data continuously. To address this question, we introduce Ropedia Xperience 2, comprising 1,589 released metric-scale 3D scans and a collection of 4,230 egocentric recordings of 74 tasks (131 hours). We further show that each capture can be repurposed for robot learning: scenes are converted into physically interactive simulation environments, human motion is retargeted to whole-body robot trajectories, and additional robot behaviors are obtained through virtual teleoperation and automated long-horizon trajectory generation. We propose this joint capture of environments and behaviors as a gold standard for physical AI data collection, laying a data foundation for establishing scaling laws over environments and behaviors.

arXivで原文を読む →arXiv概要ページ

← 論文一覧