SafeVLA-Bench: 視覚言語行動モデルにおける成功と安全性のギャップを評価するベンチマーク

- Vision-Language-Action (VLA) モデルの安全性を評価するベンチマーク。 - 既存のシミュレータベースVLAベンチマークに対し、事後的な安全性評価フレームワークを提供。 - タスク成功と安全性のギャップ（Success-Safety Gap）に着目。 - 二値的成功では隠れる危険な軌道行動（過剰接触、周辺物体の妨害、把持物体の不安定化、自己接触）を検出。 - 安全性要件をSignal Temporal Logic (STL) 仕様として形式化。 - 成功かつ安全違反の割合Succ-But-Unsafe (SBU) と違反深刻度指数Violation Severity Index (VSI) を報告。

- 従来のVLAベンチマークはタスク成功率のみを評価し、安全性を考慮しない。 - 二値的成功が安全でない軌道を隠蔽する問題を指摘。 - 事後評価フレームワークにより、既存ベンチマークに安全性指標を追加可能。 - タスク認識型の安全性要件をSTLで形式化し、定量的に評価。 - 成功と安全性の乖離を明示的に測定する初の試み（要旨から推測）。

- 既存のシミュレータベースVLAベンチマークに対する事後的安全性評価フレームワーク。 - タスク認識型安全性要件をSignal Temporal Logic (STL) 仕様として形式化。 - ネイティブな成功率に加え、Succ-But-Unsafe (SBU) とViolation Severity Index (VSI) を算出。 - SBU: 成功かつ安全性違反したロールアウトの割合。 - VSI: 有界な最悪違反深度スコア。 - LIBEROとRoboCasa-365上に実装。

- LIBEROとRoboCasa-365上でSafeVLA-Benchをインスタンス化。 - テーブルトップおよびキッチン操作タスクで9つのポリシー・ベンチマークエントリを評価。 - 高いタスク成功率が安全な実行を意味しないことを実証。 - 高SRのテーブルトップベースラインでも13〜15%の不安全エピソード率。 - RoboCasa-365では成功ロールアウトの36〜56%が少なくとも1つのアクティブな安全条項に違反。

- 高いタスク成功率が安全な実行を保証しないことを強調。 - 二値的成功指標の限界を指摘。 - 安全性評価の重要性を議論。 - 具体的な議論の詳細は要旨からは不明。

- LIBERO (既存ベンチマーク) - RoboCasa-365 (既存ベンチマーク) - Signal Temporal Logic (STL) 関連研究 - Vision-Language-Action (VLA) モデル全般 - その他、要旨で参照/比較されている研究は明示されていない。