日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ベンチマーク構築arXiv:2606.11909

Embodied-BenchClaw:身体化空間知能ベンチマーク構築のための自律型マルチエージェントシステム

Embodied-BenchClaw: An Autonomous Multi-Agent System for Embodied Spatial Intelligence Benchmark Construction

シェア:XThreadsFacebookLINEはてブBluesky

ユーザーの評価意図から自動でベンチマークを生成・更新する自律エージェントシステムを提案し、屋内・屋外の空間推論やロボット操作など多様なベンチマークを構築して有効性を検証した。

詳しい要約

1. どんなもの?

- 本論文は Embodied-BenchClaw を提案する。 - embodied spatial intelligence の benchmark を自律的に構築する multi-agent system。 - user-specified evaluation intent から完全かつ継続更新可能な benchmark package を自動生成。 - 5-stage pipeline で構成。 - intent blueprinting - data collection - structuring and cleaning - benchmark synthesis - evaluation reporting - 3 agents が pipeline を調整。 - planning - construction - evaluation - 複数 benchmark を実例化。 - indoor spatial reasoning - outdoor spatial reasoning -…

2. 先行研究と比べてどこがすごい?

- 既存の embodied benchmark は構築が labor-intensive。 - 再利用が難しく、維持管理も困難。 - 既存 benchmark は static で、model 改善により saturation しやすい。 - 新しい能力を区別する能力が制限される。 - Embodied-BenchClaw は benchmark 構築を自動化・継続更新可能にする。 - extensible Skill Library と process quality control を導入。 - benchmark 構築を composable, verifiable, repairable にする。 - 多様な embodied carriers, data sources, spatial capabilities をカバー。 - 従来の static benchmark より汎用性・再利用性・保守性で優位。

3. 技術・手法の肝は?

- 5-stage pipeline が中核。 - intent blueprinting - data collection - structuring and cleaning - benchmark synthesis - evaluation reporting - 3 agents が協調。 - planning agent - construction agent - evaluation agent - 再利用性と信頼性のため以下を導入。 - extensible Skill Library - process quality control - これにより benchmark 構築が composable, verifiable, repairable になる。 - 詳細なアルゴリズムや agent 間通信の具体は要旨からは不明。

4. どうやって有効だと検証した?

- 複数の benchmark を実例化して検証。 - indoor spatial reasoning - outdoor spatial reasoning - robotic manipulation - quadruped robot navigation - UAV/aerial-view understanding - static benchmark enhancement - 評価手法は以下を含む。 - human evaluation - judge-based assessment - consistency checks - cost analysis - ablations - 結果として verifiable, executable, maintainable, diagnostically useful な benchmark を手作業削減で構築可能と示す。 - 具体的な数値や統計は要旨からは不明。

5. 議論はある?

- 既存 benchmark の saturation 問題を指摘。 - model 改善で static benchmark がすぐ飽和。 - 構築の labor-intensive, 再利用困難, 維持管理困難を課題として提示。 - Embodied-BenchClaw の有効性を主張。 - verifiable, executable, maintainable, diagnostically useful - 手作業削減 - 限界や失敗事例、倫理的議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として以下が挙げられる。 - embodied spatial intelligence benchmark - multi-agent system - autonomous benchmark construction - Skill Library - process quality control - 同分野の定番として embodied AI benchmark (例: AI2-THOR, Habitat, RoboTHOR) や spatial reasoning benchmark を次に読む候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Baoyang Jiang, Fengchun Zhang, Leyuan Wang, Haotian Li, Yida Wang, Zhe Ji, Jinshan Lai, Xi Ren, Jianwei Hu, Qiang Ma

分類: cs.AI

原文アブストラクト

Benchmarks are essential for evaluating embodied spatial intelligence, yet their construction is labor-intensive, hard to reuse, and difficult to maintain. Existing embodied benchmarks are often static and may quickly become saturated as models improve, limiting their ability to distinguish new capabilities. We propose Embodied-BenchClaw, an autonomous agentic system for constructing embodied spatial intelligence benchmarks. Given a user-specified evaluation intent, Embodied-BenchClaw automatically produces a complete and continually updatable benchmark package through a five-stage pipeline: intent blueprinting, data collection, structuring and cleaning, benchmark synthesis, and evaluation reporting. The pipeline is coordinated by three agents for planning, construction, and evaluation. To improve reusability and reliability, Embodied-BenchClaw introduces an extensible Skill Library and process quality control, enabling benchmark construction to be composable, verifiable, and repairable. We instantiate multiple benchmarks covering indoor spatial reasoning, outdoor spatial reasoning, robotic manipulation, quadruped robot navigation, UAV/aerial-view understanding, and static benchmark enhancement. These benchmarks span diverse embodied carriers, data sources, and spatial capabilities. Experiments with human evaluation, judge-based assessment, consistency checks, cost analysis, and ablations show that Embodied-BenchClaw can construct verifiable, executable, maintainable, and diagnostically useful embodied spatial benchmarks with reduced manual effort.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI