- 本論文は、embodied intelligence の benchmark 構築を対象とした survey である。
- navigation, household assistance, manipulation, autonomous driving, aerial agents, multimodal large-model control まで対象が拡大している。
- benchmark 構築を、task specification, environments, robot data, demonstrations, annotations, metrics, evaluation scripts, release policies を統合する評価システムとして捉える。
- 構築を five-stage construction pipeline で整理する。
- requirement and task construction
- data acquisition
- data cleaning and annotation
- benchmark s…
2. 先行研究と比べてどこがすごい?
- 従来の survey は benchmark の内容や性能比較が中心で、構築プロセス自体の自動化を横断的に扱う点が異なる。
- 本 survey は five-stage construction pipeline を導入し、構築段階ごとの自動化の進展を整理する。
- manual curation から traditional automation, foundation-model assistance, agentic closed-loop workflows への移行を比較する点が特徴である。
- qualitative construction costs を human labor, data and asset acquisition, compute and simulation, validation and debugging, governance and maintenance, rework risk の観点で比較する。
- 自動化が単にコストを下げるのではなく、validation, auditability, version control, lon…
3. 技術・手法の肝は?
- 文献を five-stage construction pipeline に沿ってレビューする。
- requirement and task construction
- data acquisition
- data cleaning and annotation
- benchmark suite generation and metric definition
- evaluation execution with diagnostic feedback
- 各段階で manual curation, traditional automation, foundation-model assistance, agentic closed-loop workflows の遷移を分析する。
- qualitative construction costs を複数軸で比較する。
- human labor
- data and asset acquisition
- compute and simulation
- validation and…
4. どうやって有効だと検証した?
- 本論文は survey であり、個別の実験的検証は要旨からは不明である。
- 有効性の検証として、文献レビューを通じて five-stage construction pipeline の妥当性を示す。
- 各段階での自動化の遷移を整理し、qualitative construction costs を比較する。
- 自動化が validation, auditability, version control, long-term governance へコストを移すという結論を導く。
- 定量的なベンチマーク実験やユーザスタディによる検証は要旨からは不明である。
Embodied intelligence now spans navigation, household assistance, manipulation, autonomous driving, aerial agents, and multimodal large-model control. This expansion has made benchmark construction a central bottleneck for reliable evaluation. Unlike static datasets, embodied benchmarks combine task specifications, environments, robot data, demonstrations, annotations, metrics, evaluation scripts, and release policies into a single evaluation system. This survey reviews the literature through a five-stage construction pipeline: requirement and task construction, data acquisition, data cleaning and annotation, benchmark suite generation and metric definition, and evaluation execution with diagnostic feedback. For each stage, the survey analyzes the transition from manual curation to traditional automation, foundation-model assistance, and agentic closed-loop workflows. It also compares qualitative construction costs across human labor, data and asset acquisition, compute and simulation, validation and debugging, governance and maintenance, and rework risk. The main conclusion is that automation does not simply reduce benchmark cost. Instead, it often shifts cost toward validation, auditability, version control, and long-term governance. Progress in embodied evaluation will therefore depend not only on larger benchmark suites, but also on construction pipelines that are diagnosable, auditable, and responsibly refreshable.