日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

評価ベンチマークarXiv:2604.11174

具現化エージェントシステムの統治・復旧・アップグレード安全性のためのベンチマーク

EmbodiedGovBench: A Benchmark for Governance, Recovery, and Upgrade Safety in Embodied Agent Systems

シェア:XThreadsFacebookLINEはてブBluesky

タスク成功率だけでなく、具現化AIシステムが能力境界を守り、ポリシーを強制し、安全に復旧し、監査可能で、人間の監視に応答するかなど、統治可能性を評価するベンチマークを提案した。

詳しい要約

1. どんなもの?

- 本論文は EmbodiedGovBench を提案する。 - 身体性 AI システムの governance 指向評価のための benchmark。 - タスク成功率や操作精度ではなく、制御可能性・policy 境界・回復・監査・進化安全性を評価。 - 7 つの governance 次元をカバー。 - unauthorized capability invocation - runtime drift robustness - recovery success - policy portability - version upgrade safety - human override responsiveness - audit completeness - single-robot と fleet 設定を含む構造を定義。 - scenario templates、perturbation operators、governance metrics、baseline evaluation protocols…

2. 先行研究と比べてどこがすごい?

- 従来評価は task success metrics が主流。 - completion rate や manipulation accuracy など。 - 本 benchmark は governance を first-class evaluation target として扱う点が新しい。 - 能力境界の尊重、policy 強制、安全回復、audit trail 維持、human oversight 応答を測定。 - 単なるタスク完遂ではなく、現実的 perturbation 下での制御可能性・policy 制約・回復可能性・監査可能性・進化安全性を評価。 - 具体的な先行研究との比較数値は要旨からは不明。

3. 技術・手法の肝は?

- benchmark 構造を定義。 - single-robot と fleet 設定。 - scenario templates、perturbation operators、governance metrics、baseline evaluation protocols。 - 7 つの governance 次元を評価軸として設定。 - modular interfaces と contract-aware upgrade workflows を持つ embodied capability runtimes 上に実装可能。 - 具体的なアルゴリズムや実装詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 要旨からは不明。 - 実験結果や有効性検証の具体的記述はない。 - benchmark の構造と評価プロトコルを提示した段階と読める。 - 分析により embodied governance を first-class evaluation target にすべきと主張。

5. 議論はある?

- embodied governance を第一級の評価対象にすべきという主張。 - EmbodiedGovBench がその転換のための初期測定フレームワークを提供。 - 限界や課題、反論については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、embodied AI の robot policies、foundation models、modular runtimes が挙げられている。 - 同分野の定番として、task success metrics に基づく manipulation accuracy や completion rate の評価研究が想定される。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xue Qin, Simin Luan, John See, Cong Yang, Zhijun Li

分類: cs.RO, cs.AI

原文アブストラクト

Recent progress in embodied AI has produced a growing ecosystem of robot policies, foundation models, and modular runtimes. However, current evaluation remains dominated by task success metrics such as completion rate or manipulation accuracy. These metrics leave a critical gap: they do not measure whether embodied systems are governable -- whether they respect capability boundaries, enforce policies, recover safely, maintain audit trails, and respond to human oversight. We present EmbodiedGovBench, a benchmark for governance-oriented evaluation of embodied agent systems. Rather than asking only whether a robot can complete a task, EmbodiedGovBench evaluates whether the system remains controllable, policy-bounded, recoverable, auditable, and evolution-safe under realistic perturbations. The benchmark covers seven governance dimensions: unauthorized capability invocation, runtime drift robustness, recovery success, policy portability, version upgrade safety, human override responsiveness, and audit completeness. We define a benchmark structure spanning single-robot and fleet settings, with scenario templates, perturbation operators, governance metrics, and baseline evaluation protocols. We describe how the benchmark can be instantiated over embodied capability runtimes with modular interfaces and contract-aware upgrade workflows. Our analysis suggests that embodied governance should become a first-class evaluation target. EmbodiedGovBench provides the initial measurement framework for that shift.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI