先行研究では、hidden-state-based risk probesとfunctional conformal predictionによる障害検出が提案されていたが、その信頼性はキャリブレーションデータが展開条件と一致することに依存していた。SAFECASTは、contrast set perturbationsを導入することで、キャリブレーションデータが展開時の分布シフトをカバーするようにし、これにより従来のstate-of-the-artベースラインと比較して、障害検出のROC-AUCスコアを統計的に有意に改善した。
3. 技術・手法の肝は?
手法の核心は、contrast set perturbationsを用いてhidden-state probeのトレーニングとキャリブレーションを強化することである。具体的には、視覚と言語の両方に対するcontrast set perturbationsをデータに追加し、プローブが展開時のシフトに対してより敏感になるように訓練する。また、sim-to-realキャリブレーションをcontrast set perturbationsと組み合わせることで、実ロールアウトデータのみを使用する場合よりも優れたプローブが得られることを示した。
4. どうやって有効だと検証した?
有効性は、実世界のDROIDとシミュレーションのLIBERO実験において、複数のVLMバックボーンを用いて検証された。SAFECASTは、state-of-the-artベースラインと比較して、障害検出のROC-AUCスコアを統計的に有意に改善した。さらに、視覚と言語の両方のcontrast set perturbationsを使用した場合に最も効果が高く、contrast set perturbationsを用いたsim-to-realキャリブレーションが実データのみの場合よりも優れていることを確認した。
5. 議論はある?
要旨からは、SAFECASTの限界や潜在的な欠点についての議論は不明である。ただし、contrast set perturbationsの生成方法や、それらが実際の展開時シフトをどの程度代表するかという点は議論の余地がある。また、sim-to-realキャリブレーションの利点は示されたが、実世界の多様な環境への一般化についてはさらなる検証が必要かもしれない。
Vision-language-action policies often fail under deployment-time distribution shifts such as clutter, distractor objects, lighting changes, novel objects, altered initial states, and reworded instructions. Hidden-state-based risk probes combined with functional conformal prediction can detect rollout failures, but their reliability depends on calibration data matching deployment conditions. We introduce SAFECAST, which leverages contrast set perturbations to improve hidden-state probe training and calibration for deployment time shift. SAFECAST statistically significantly improves failure detection ROC-AUC scores over a state of the art baseline in both real-world DROID and LIBERO simulation experiments across multiple VLM backbones. We further find that SAFECAST benefits most when both visual and language contrast set perturbations are used to augment data, and that with contrast set perturbations, sim-to-real calibration leads to better probes than using real rollout data only.