すべてのロボットを一つに:多用途な汎用身体性エージェントのための新標準と統合データセット
All Robots in One: A New Standard and Unified Dataset for Versatile, General-Purpose Embodied Agents
実世界とシミュレーションのデータを統合した新標準ARIOを提案し、約300万エピソード・32万タスクからなる大規模データセットを構築した。
著者: Zhiqiang Wang, Hao Zheng, Yunshuang Nie, Wenjun Xu, Qingwei Wang, Hua Ye, Zhe Li, Kaidong Zhang, Xuewen Cheng, Wanxi Dong, Chang Cai, Liang Lin, Feng Zheng, Xiaodan Liang
分類: cs.RO
原文アブストラクト
Embodied AI is transforming how AI systems interact with the physical world, yet existing datasets are inadequate for developing versatile, general-purpose agents. These limitations include a lack of standardized formats, insufficient data diversity, and inadequate data volume. To address these issues, we introduce ARIO (All Robots In One), a new data standard that enhances existing datasets by offering a unified data format, comprehensive sensory modalities, and a combination of real-world and simulated data. ARIO aims to improve the training of embodied AI agents, increasing their robustness and adaptability across various tasks and environments. Building upon the proposed new standard, we present a large-scale unified ARIO dataset, comprising approximately 3 million episodes collected from 258 series and 321,064 tasks. The ARIO standard and dataset represent a significant step towards bridging the gaps of existing data resources. By providing a cohesive framework for data collection and representation, ARIO paves the way for the development of more powerful and versatile embodied AI agents, capable of navigating and interacting with the physical world in increasingly complex and diverse ways. The project is available on https://imaei.github.io/project_pages/ario/
関連論文
- DARP: 多視点ロボット知覚のための校正済み双腕RGB-D-IRデータセットデータセット
- uScenes: 水中ロボット知覚のためのマルチモーダルRGB・3Dソナー画像データセットデータセット
- PRISM:マルチモーダルセンシングを備えた精密で接触豊富な実世界産業スキルデータセットデータセット
- NARRATE: 自動運転における人間中心の説明のためのマルチモーダル実世界オーストラリア運転データセットデータセット
- 衛星画像の改ざんとディープフェイク位置特定のためのベンチマークデータセット構築に向けてデータセット
- InteracVid: ライブチャット動画から構築した実インタラクティブ音声視覚応答データセットデータセット
