EMMOE: オープン環境における身体性を伴うモバイルマニピュレーションの包括的ベンチマーク
EMMOE: A Comprehensive Benchmark for Embodied Mobile Manipulation in Open Environments
自然言語指示で長期的な日常タスクを実行する家庭用ロボットのためのベンチマークEMMOEを提案し、データセットとLLM・ナビゲーション・マニピュレーションを統合したエージェントシステムを構築した。
著者: Dongping Li, Tielong Cai, Tianci Tang, Wenhao Chai, Katherine Rose Driggs-Campbell, Gaoang Wang
分類: cs.RO, cs.AI
原文アブストラクト
Developing autonomous home robots controlled by natural language has long been a pursuit of humanity. While advancements in large language models (LLMs) and embodied intelligence make this goal closer, several challenges persist: the lack of a unified benchmark for more complex robot tasks, limited evaluation methods and metrics, data incompatibility between LLMs and mobile manipulation trajectories. To address these issues, we propose Embodied Mobile Manipulation in Open Environments (EMMOE), a benchmark that requires agents to interpret user instructions and execute long-horizon everyday tasks in continuous space. EMMOE seamlessly integrates high-level and low-level embodied tasks into a unified framework, along with three new metrics for more diverse assessment. Additionally, we collect~\dataset, which features in various task attributes, detailed process annotations, re-plans after failures, and two sub-datasets for LLM training. Furthermore, we design~\model, a sophisticated agent system consists of LLM with Direct Preference Optimization (DPO), light weighted navigation and manipulation models, and multiple error detection mechanisms. Finally, we demonstrate~\model's performance and evaluations of different models and policies.
関連論文
- MOMASPLAT: モバイルマニピュレーションのための動的な新規視点デモンストレーション拡張モバイルマニピュレーション
- 長期モバイルマニピュレーションにおける環境・プロセス記憶ベンチマークモバイルマニピュレーション
- Pixel: 汎用モバイルマニピュレーション学習のための協調設計フルスタックロボットシステムモバイルマニピュレーション
- FEIJOA: モバイルマニピュレーションのためのタスク駆動型グラウンディングと実行モバイルマニピュレーション
- 階層型残差方策学習による実世界モバイルマニピュレーションの疎な人間ガイダンスモバイルマニピュレーション
- モバイルマニピュレーションの突破口:失敗診断からエージェント型ロボットシステムへモバイルマニピュレーション
