日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全性ベンチマークarXiv:2506.14697

AGENTSAFE:危険指示に対する身体性エージェントの安全性ベンチマーク

AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルを用いた身体性エージェントが危険な指示を受けた際の安全性を、知覚・計画・実行の各段階で評価するベンチマークSAFEを提案し、9つの最先端モデルで体系的な失敗を明らかにした。

詳しい要約

1. どんなもの?

- 本論文は、embodied VLM agents が危険な指示(hazardous instructions)を実行する際の安全性を評価するベンチマーク SAFE を提案する。 - SAFE は3要素で構成される。 - SAFE-THOR: 拡張可能な adversarial simulation sandbox。VLM の高レベル出力を低レベル embodied controls に変換する universal adapter を持ち、多様な agent workflow を統合可能。 - SAFE-VERSE: Asimov の Three Laws of Robotics に着想を得た risk-aware なタスクスイート。45 の adversarial scenarios、1,350 の hazardous tasks、9,900 の instructions を含み、人間・環境・agent 自身へのリスクを網羅する。 - SAFE-DIAGNOSE: perception・planning・execution の各段階を測る多段階かつ fi…

2. 先行研究と比べてどこがすごい?

- 先行の安全性評価ベンチマークは限定的であると指摘する。 - 危険の範囲が狭い(narrow scopes of hazards)。 - 主に最終結果(final outcomes)のみに着目する。 - それに対し SAFE は、agent の perception-planning-execution の全過程を対象とする点が異なる。 - これにより重要な failure modes が隠蔽される問題を回避する。 - 多段階かつ fine-grained な評価プロトコル SAFE-DIAGNOSE を備える点が先行研究との差分として示される。 - 具体的な先行研究名の比較は要旨からは不明。

3. 技術・手法の肝は?

- 中核は3コンポーネントの設計にある。 - SAFE-THOR: 拡張可能な adversarial simulation sandbox。universal adapter が VLM の高レベル出力を低レベル embodied controls へマッピングし、多様な agent workflow の統合を可能にする。 - SAFE-VERSE: Asimov の Three Laws of Robotics に着想を得た risk-aware タスクスイート。45 adversarial scenarios、1,350 hazardous tasks、9,900 instructions で、人間・環境・agent へのリスクを網羅。 - SAFE-DIAGNOSE: perception・planning・execution の各段階を測る multi-level かつ fine-grained な評価プロトコル。 - 危険指示に対する安全性を、最終結果だけでなく過程全体で診断する点が手法の肝。

4. どうやって有効だと検証した?

- SAFE を 9 つの state-of-the-art VLMs と 2 つの embodied agent workflows に適用して評価した。 - その結果、危険認識を安全な planning と execution に変換する段階で系統的失敗(systematic failures)が明らかになった。 - これは現行の safety alignment の根本的限界を示すとともに、より安全な embodied intelligence 開発には包括的で multi-stage な評価が必要であることを実証する形で有効性を示している。 - 個別の定量指標やベースライン比較の詳細は要旨からは不明。

5. 議論はある?

- 現行の safety alignment には根本的限界があると論じる。 - 危険認識が安全な planning・execution に結びつかない systematic failures を指摘。 - 最終結果のみを見る評価では隠れる failure modes があるため、perception・planning・execution を横断する包括的 multi-stage 評価が不可欠だと主張する。 - 具体的な限界や今後の課題、倫理的議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で明示的に参照・比較されている個別研究は無い(SAFE-THOR 等は本論文の提案物)。 - 関連手法として、embodied agent の基盤である vision-language models (VLMs)、および Asimov の Three Laws of Robotics が言及される。 - 同分野の定番として、embodied AI の安全性評価ベンチマークや safety alignment 関連研究、AI2-THOR 系のシミュレーション環境を次に読む候補として挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zonghao Ying, Le Wang, Yisong Xiao, Jiakai Wang, Yuqing Ma, Jinyang Guo, Zhenfei Yin, Mingchuan Zhang, Aishan Liu, Xianglong Liu

分類: cs.CR, cs.RO

原文アブストラクト

The integration of vision-language models (VLMs) is driving a new generation of embodied agents capable of operating in human-centered environments. However, as deployment expands, these systems face growing safety risks, particularly when executing hazardous instructions. Current safety evaluation benchmarks remain limited: they cover only narrow scopes of hazards and focus primarily on final outcomes, neglecting the agent's full perception-planning-execution process and thereby obscuring critical failure modes. Therefore, we present SAFE, a benchmark for systematically assessing the safety of embodied VLM agents on hazardous instructions. SAFE comprises three components: SAFE-THOR, an extensible adversarial simulation sandbox with a universal adapter that maps high-level VLM outputs to low-level embodied controls, supporting diverse agent workflow integration; SAFE-VERSE, a risk-aware task suite inspired by Asimov's Three Laws of Robotics, comprising 45 adversarial scenarios, 1,350 hazardous tasks, and 9,900 instructions that span risks to humans, environments, and agents; and SAFE-DIAGNOSE, a multi-level and fine-grained evaluation protocol measuring agent performance across perception, planning, and execution. Applying SAFE to nine state-of-the-art VLMs and two embodied agent workflows, we uncover systematic failures in translating hazard recognition into safe planning and execution. Our findings reveal fundamental limitations in current safety alignment and demonstrate the necessity of a comprehensive, multi-stage evaluation for developing safer embodied intelligence.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI