ForesightSafety-VLA: 視覚・言語・行動モデルのための統合診断安全ベンチマーク

- 本論文は、Vision-Language-Action (VLA) モデルの安全性を評価するための診断ベンチマーク「ForesightSafety-VLA」を提案する。 - 安全性を主要評価対象とし、13カテゴリの安全タクソノミー（Safe-Core, Safe-Lang, Safe-Vis）を定義。 - シーン構造、言語コマンド、視覚観測の3次元で制御された変動下でポリシーを評価し、失敗源を診断可能にする。 - 二値タスク成功に加え、累積安全コスト (CC) とリスク曝露時間 (RET)、安全/不安全成功・失敗の4象限分解を測定。 - RoboTwin上で66の安全拡張基本シナリオを5つのembodimentでインスタンス化し、代表的なVLAベースラインで結果を報告。

- 従来のVLA評価はタスク成功率中心で、embodied safetyの限界は十分に理解されていなかった。 - 本ベンチマークは安全性を第一評価目標とし、単一の集約スコアではなく、失敗源を診断できる点が新しい。 - プロセスレベルのリスク指標（CC, RET）と4象限分解を導入し、安全成功と不安全成功を区別。 - シーン構造・言語・視覚の変動を制御して評価する枠組みを提供。 - 具体的な先行研究との比較は要旨からは不明。

- 13カテゴリの安全タクソノミーを定義：物理相互作用安全 (Safe-Core)、指示側安全 (Safe-Lang)、知覚側安全 (Safe-Vis)。 - 3つの制御された変動次元（シーン構造、言語コマンド、視覚観測）でポリシーを評価。 - 評価指標として、二値タスク成功に加え、累積安全コスト (CC) とリスク曝露時間 (RET) を測定。 - 安全/不安全成功・失敗の4象限分解を導入。 - RoboTwin上で66の安全拡張基本シナリオを5 embodimentで実装。

- RoboTwin上で66の安全拡張基本シナリオを5 embodimentでインスタンス化し、代表的なVLAベースラインで評価。 - 結果として、最強のポリシーでも無視できない安全コストと不安全な名目成功が生じることを報告。 - 構造と視覚の変動が通常の言語変動よりも安全劣化を大幅に引き起こすことを示した。 - これらの結果から、embodied safetyが知覚・グラウンディング・制御能力と密接に結合していることを示唆。

- 評価されたベースラインでは、最強のポリシーでも安全コストと不安全な名目成功が発生。 - 構造と視覚の変動が言語変動よりも安全劣化に強い影響を与える。 - embodied safetyは知覚・グラウンディング・制御能力に密接に結合しており、事後的な安全フィルタリングだけでは解決できない可能性を示唆。 - 具体的な議論や限界については要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Vision-Language-Action (VLA) モデル、RoboTwin、代表的なVLAベースラインが挙げられる。 - 同分野の定番として、embodied safety評価、安全フィルタリング、知覚・グラウンディング・制御の統合研究が考えられる。