LIBERO-Safety: 視覚言語行動モデルにおける物理的・意味的安全性の包括的ベンチマーク
LIBERO-Safety: A Comprehensive Benchmark for Physical and Semantic Safety in Vision-Language-Action Models
VLAモデルの安全性を評価するため、パラメトリックな安全ベンチマークと大規模データセットを構築し、8つのVLAモデルと2つの基盤モデルの系統的評価を行った。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Rongxu Cui, Zongzheng Zhang, Jingrui Pang, Haohan Chi, Jinbang Guo, Saining Zhang, Shaoxuan Xie, Xin Jin, Yao Mu, Jiaolong Yang, Guocai Yao, Xianyuan Zhan, Ya-Qin Zhang, Hao Zhao
分類: cs.RO
原文アブストラクト
Despite the impressive manipulation capabilities of Vision-Language-Action (VLA) models, their operational safety under strict constraints remains largely unverified. To address this, we introduce a parametric safety benchmark to procedurally generate safety-critical scenarios with comprehensive stochasticity. To overcome the scalability bottlenecks of human teleoperation, we develop a novel keypose-driven data generation pipeline. Leveraging this infrastructure, we curate a large-scale dataset of 19,664 strictly collision-free demonstrations with extensive domain randomization. We then conduct a systematic cross-paradigm evaluation of eight VLA and two embodied foundation models. Our analysis reveals a critical generalization-safety tension: although high-diversity training fosters safer trajectories, task success remains fundamentally bottlenecked by sub-optimal trajectory synthesis and semantic misalignment. By providing a scalable pipeline, a robust dataset, and profound failure-mode insights, LIBERO-Safety establishes a crucial foundation for developing safe and reliable VLA models.
関連論文
- EgoSafetyBench：具身VLMをランタイム安全監視役として評価する診断用エゴセントリック動画ベンチマークVLA/安全性評価
- SafeVLA-Bench: 視覚言語行動モデルにおける成功と安全性のギャップを評価するベンチマークVLA/安全性評価
- いつ、どの程度深刻に：運転VLAのためのシナリオ別安全エンベロープVLA/安全性評価
- ForesightSafety-VLA: 視覚・言語・行動モデルのための統合診断安全ベンチマークVLA/安全性評価
- 視覚言語モデルにおける衝突接地の探求：安全な人間ロボット協調のためにVLA/安全性評価
- HazardArena: 視覚言語行動モデルにおける意味的安全性の評価VLA/安全性評価
