記憶・ベンチマーク・ロボット:強化学習で複雑なタスクを解くためのベンチマーク
Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning
記憶を必要とする強化学習タスクの分類と、多様な場面で記憶能力を評価できる統一ベンチマークMIKASA、および卓上ロボット操作向けの32タスクを提案した。
著者: Egor Cherepanov, Nikita Kachaev, Alexey K. Kovalev, Aleksandr I. Panov
分類: cs.LG, cs.AI, cs.RO
原文アブストラクト
Memory is crucial for enabling agents to tackle complex tasks with temporal and spatial dependencies. While many reinforcement learning (RL) algorithms incorporate memory, the field lacks a universal benchmark to assess an agent's memory capabilities across diverse scenarios. This gap is particularly evident in tabletop robotic manipulation, where memory is essential for solving tasks with partial observability and ensuring robust performance, yet no standardized benchmarks exist. To address this, we introduce MIKASA (Memory-Intensive Skills Assessment Suite for Agents), a comprehensive benchmark for memory RL, with three key contributions: (1) we propose a comprehensive classification framework for memory-intensive RL tasks, (2) we collect MIKASA-Base -- a unified benchmark that enables systematic evaluation of memory-enhanced agents across diverse scenarios, and (3) we develop MIKASA-Robo (pip install mikasa-robo-suite) -- a novel benchmark of 32 carefully designed memory-intensive tasks that assess memory capabilities in tabletop robotic manipulation. Our work introduces a unified framework to advance memory RL research, enabling more robust systems for real-world use. MIKASA is available at https://tinyurl.com/membenchrobots.
関連論文
- ImagineBench:大規模言語モデルのロールアウトを用いた強化学習の評価ベンチマーク強化学習ベンチマーク
- RobocupGym: RoboCupにおける挑戦的な連続制御ベンチマーク強化学習ベンチマーク
- 視覚ベースロボティクスにおける深層強化学習アルゴリズムのベンチマーク強化学習ベンチマーク
- 教師なし強化学習ベンチマークURLB強化学習ベンチマーク
- dm_control:連続制御のためのソフトウェアとタスク集強化学習ベンチマーク
- ROBEL: 低コストロボットによる実世界強化学習のためのベンチマーク強化学習ベンチマーク
