マニピュレーション2025/6/1arXiv:2506.13536

ロボットマニピュレーションのための大規模データセット学習で重要な要素は何か

What Matters in Learning from Large-Scale Datasets for Robot Manipulation

大規模ロボットデータセットの構成を体系的に研究し、多様性の強調点と既存データからの効果的なデモンストレーション検索方法を明らかにした。

詳しい要約

1. どんなもの？

- 大規模な多タスク実演データセットからの模倣学習(imitation learning)において、どのようなデータを集めるべきかを体系的に調べる大規模データセット構成研究 - データ生成フレームワークを開発し、既存データセットの多様性要因(sensor placements、object types、arrangements など)を手続き的に模擬 - 制御された構成の大規模ロボットデータセットを生成し、実世界ではコストが高すぎるデータセット構成実験を可能にする - 2つの実用的設定に焦点: (1) 今後大規模データセットを収集する際にどの多様性を重視すべきか、(2) 既存データセットから関連する実演をどう検索(retrieval)して下流タスク性能を最大化するか

2. 先行研究と比べてどこがすごい？

- 世界中で数千時間規模の大規模データセット構築が進む一方、どのデータを集めればロボットデータセットの有用性が高まるかについての体系的理解が欠けていた - 本研究はデータセット構成を大規模かつ制御的に研究する枠組みを提供し、実世界では実行不可能な構成実験を可能にした点が新しい - シミュレーションで得た知見が実世界のロボット学習設定にも引き継がれることを示した - 既存データセット(例: DROID)に対する retrieval 戦略により、既存の学習戦略を最大70%上回る性能を達成

3. 技術・手法の肝は？

- データ生成フレームワークにより、sensor placements、object types、arrangements などの多様性要因を手続き的に模擬 - 制御された構成の大規模ロボットデータセットを生成し、データセット構成の比較研究を実施 - 収集時の多様性の重視点と、既存データセットからの実演 retrieval の2つの実用的設定を検討 - シミュレーションでの知見を実世界ロボット学習設定で検証し、DROID などの既存データセットへの retrieval 戦略を適用

4. どうやって有効だと検証した？

- シミュレーションで制御されたデータセット構成実験を実施し、複数の知見を得た - 実世界のロボット学習設定で、シミュレーションの知見が引き継がれるかを検証 - 既存データセット(例: DROID)に対する retrieval 戦略を適用し、既存の学習戦略と比較して最大70%の性能向上を確認 - 詳細な結果は https://robo-mimiclabs.github.io/ で公開

5. 議論はある？

- camera poses と spatial arrangements が、収集時の多様性と retrieval 時の整合(alignment)の両方で重要な次元であることを発見 - シミュレーションから実世界への知見の転移可能性を議論 - 大規模データセット構築における多様性の重視点と、既存データセットからの効率的な実演 retrieval の実践的示唆を提示 - 具体的な限界や今後の課題については要旨からは不明

6. 次に読むべき論文は？

- DROID(本研究で retrieval 戦略を適用した既存データセット) - 大規模多タスク実演データセットからの模倣学習(imitation learning)に関する研究 - ロボットデータセットの構成・多様性を扱うデータセット研究 - retrieval を用いた下流ポリシー学習に関する手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Vaibhav Saxena, Matthew Bronars, Nadun Ranawaka Arachchige, Kuancheng Wang, Woo Chul Shin, Soroush Nasiriany, Ajay Mandlekar, Danfei Xu

分類: cs.RO, cs.LG

原文アブストラクト

Imitation learning from large multi-task demonstration datasets has emerged as a promising path for building generally-capable robots. As a result, 1000s of hours have been spent on building such large-scale datasets around the globe. Despite the continuous growth of such efforts, we still lack a systematic understanding of what data should be collected to improve the utility of a robotics dataset and facilitate downstream policy learning. In this work, we conduct a large-scale dataset composition study to answer this question. We develop a data generation framework to procedurally emulate common sources of diversity in existing datasets (such as sensor placements and object types and arrangements), and use it to generate large-scale robot datasets with controlled compositions, enabling a suite of dataset composition studies that would be prohibitively expensive in the real world. We focus on two practical settings: (1) what types of diversity should be emphasized when future researchers collect large-scale datasets for robotics, and (2) how should current practitioners retrieve relevant demonstrations from existing datasets to maximize downstream policy performance on tasks of interest. Our study yields several critical insights -- for example, we find that camera poses and spatial arrangements are crucial dimensions for both diversity in collection and alignment in retrieval. In real-world robot learning settings, we find that not only do our insights from simulation carry over, but our retrieval strategies on existing datasets such as DROID allow us to consistently outperform existing training strategies by up to 70%. More results at https://robo-mimiclabs.github.io/

arXivで原文を読む →arXiv概要ページ

ロボットマニピュレーションのための大規模データセット学習で重要な要素は何か

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

MINISFORUM（ミニPC）

双腕モバイルマニピュレーター OpenShell