HazardArena: 視覚言語行動モデルにおける意味的安全性の評価

- 論文は、Vision-Language-Action (VLA) モデルの意味的安全性を評価するベンチマーク HazardArena を提案。 - 安全/不安全の双子シナリオで構成され、物体・配置・行動要件は同じで意味的文脈のみ異なる。 - 7つの実世界リスクカテゴリにわたる40のリスク感受性タスクと2,000以上のアセットを含む。 - 安全シナリオのみで訓練されたVLAモデルが、対応する不安全シナリオで安全に行動できないことを示す。 - 訓練不要の Safety Option Layer を提案し、意味的属性または vision-language judge で行動実行を制約。 - 不安全行動を大幅に削減し、タスク性能への影響は最小限。

- 従来の評価は行動実行の成功に焦点を当て、視覚言語意味論と行動ポリシーの結合を軽視。 - この分離が、意味的リスク下で正しい行動実行が不安全な結果を招く系統的脆弱性を露呈。 - HazardArena は安全/不安全の双子シナリオで意味的文脈のみを変化させ、この脆弱性を制御された形で評価。 - 既存ベンチマークと異なり、意味的安全性を直接評価する点が新しい。 - 訓練不要の Safety Option Layer を提案し、意味的安全性を強制する手法を提供。

- HazardArena は、物体・配置・行動要件が一致し、意味的文脈のみ異なる安全/不安全の双子シナリオで構成。 - 7つの実世界リスクカテゴリに基づき、40のリスク感受性タスクと2,000以上のアセットを収録。 - Safety Option Layer は訓練不要で、意味的属性または vision-language judge を用いて行動実行を制約。 - これにより不安全行動を大幅に削減し、タスク性能への影響を最小化。

- 安全シナリオのみで訓練されたVLAモデルを、対応する不安全シナリオで評価。 - モデルが安全に行動できないことを実験的に示した。 - Safety Option Layer を適用し、不安全行動の大幅な削減とタスク性能への最小限の影響を確認。 - 具体的な評価指標や実験設定の詳細は要旨からは不明。

- VLAモデルが視覚言語意味論と行動ポリシーの分離により、意味的リスク下で不安全な行動をとる脆弱性を指摘。 - 安全シナリオのみの訓練では不安全シナリオに対応できないことを議論。 - Safety Option Layer が有効な緩和策となり得るが、その限界や一般化可能性については要旨からは不明。 - 実世界展開に向けて意味的安全性の評価と強制の再考が必要だと主張。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) モデル、vision-language backbone、Safety Option Layer が挙げられる。 - 同分野の定番として、ロボット安全基準 (established robotic safety standards) や vision-language judge が関連。 - 具体的な論文名は要旨からは不明。