日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.16402

IS-Bench:家庭内タスクにおけるVLM駆動型身体エージェントの対話型安全性評価

IS-Bench: Evaluating Interactive Safety of VLM-Driven Embodied Agents in Daily Household Tasks

シェア:XThreadsFacebookLINEはてブBluesky

家庭内タスクを行うVLM駆動型エージェントの対話型安全性を評価する初のマルチモーダルベンチマークIS-Benchを提案し、161のシナリオと388のリスクで危険回避行動の手順を検証した。

詳しい要約

1. どんなもの?

- VLM-driven embodied agents の対話型安全性を評価するベンチマーク - 名称は IS-Bench - 日常家事タスクを対象とする - 161 のシナリオと 388 の独自の safety risk を含む - 高忠実度シミュレータ上に実装 - 静的な事後評価ではなく、プロセス指向の評価を志向 - リスク低減行動が特定の危険ステップの前/後に行われたかを検証

2. 先行研究と比べてどこがすごい?

- 既存の評価は静的・非対話型で、動的に発生するリスクを模擬できない - エージェントの行動から生じる emergent risk を扱えない - 既存手法は信頼性の低い post-hoc 評価に依存 - 不安全な中間ステップを無視してしまう - IS-Bench は初の multi-modal benchmark として interactive safety を評価 - プロセス指向評価で中間ステップの安全性を確認する点が新しい

3. 技術・手法の肝は?

- interactive safety を「emergent risk を知覚し、正しい手順順序で mitigation steps を実行する能力」と定義 - 高忠実度シミュレータ上で 161 シナリオ・388 safety risk を構築 - プロセス指向評価を導入 - risk mitigation action が特定の risk-prone step の前/後に行われたかを検証 - 評価対象は GPT-4o や Gemini-2.5 系を含む主要 VLMs

4. どうやって有効だと検証した?

- 主要 VLMs(GPT-4o、Gemini-2.5 系を含む)で広範な実験を実施 - 結果、現行エージェントは interactive safety awareness を欠くことを示す - safety-aware Chain-of-Thought は性能を改善し得るが、しばしばタスク完了を犠牲にすることを報告 - これらにより IS-Bench の評価枠組みの有用性を示唆

5. 議論はある?

- 現行 VLM-driven agents の interactive safety 認識の欠如が主要な課題 - safety-aware Chain-of-Thought のトレードオフ(安全性向上とタスク完了低下)が議論点 - 静的・post-hoc 評価の限界を指摘し、プロセス指向評価の必要性を主張 - 具体的な制限や今後の課題の詳細は要旨からは不明

6. 次に読むべき論文は?

- GPT-4o - Gemini-2.5 系 - safety-aware Chain-of-Thought 関連研究 - 静的・非対話型の既存 safety benchmark(具体名は要旨からは不明) - VLM-driven embodied agents の planning 安全性に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaoya Lu, Zeren Chen, Xuhao Hu, Yijin Zhou, Weichen Zhang, Dongrui Liu, Lu Sheng, Jing Shao

分類: cs.AI, cs.CL, cs.CV, cs.LG, cs.RO

原文アブストラクト

Flawed planning from VLM-driven embodied agents poses significant safety hazards, hindering their deployment in real-world household tasks. However, existing static, non-interactive evaluation paradigms fail to adequately assess risks within these interactive environments, since they cannot simulate dynamic risks that emerge from an agent's actions and rely on unreliable post-hoc evaluations that ignore unsafe intermediate steps. To bridge this critical gap, we propose evaluating an agent's interactive safety: its ability to perceive emergent risks and execute mitigation steps in the correct procedural order. We thus present IS-Bench, the first multi-modal benchmark designed for interactive safety, featuring 161 challenging scenarios with 388 unique safety risks instantiated in a high-fidelity simulator. Crucially, it facilitates a novel process-oriented evaluation that verifies whether risk mitigation actions are performed before/after specific risk-prone steps. Extensive experiments on leading VLMs, including the GPT-4o and Gemini-2.5 series, reveal that current agents lack interactive safety awareness, and that while safety-aware Chain-of-Thought can improve performance, it often compromises task completion. By highlighting these critical limitations, IS-Bench provides a foundation for developing safer and more reliable embodied AI systems. Code and data are released under https://github.com/AI45Lab/IS-Bench.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI