日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.09937

SAFE: 視覚言語行動モデル向けマルチタスク故障検知

SAFE: Multitask Failure Detection for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAの内部特徴からタスク失敗の可能性を予測する汎用的な故障検知器SAFEを提案し、未見タスクでも高精度・早期検知を実現した。

詳しい要約

1. どんなもの?

- 対象: vision-language-action models (VLAs) のための failure detector - 目的: 未知タスクや新規環境でも VLA の失敗を timely に検知し、robot が stop/backtrack/ask for help できるようにする - 提案: SAFE という multitask failure detection 手法 - 出力: タスク失敗の likelihood を示す単一の scalar を予測 - 特徴: 特定タスク専用ではなく generalist VLA 向けで、異なる policy architecture にも互換 - 検証対象: OpenVLA, π0, π0-FAST を simulated/real-world 環境で評価

2. 先行研究と比べてどこがすごい?

- 先行 failure detector は 1 つまたは少数の特定タスクのみで train/test されており、generalist VLA には不十分 - 本研究は multitask failure detection 問題を新たに導入 - 未知タスク・新規環境への generalization を重視 - VLA の internal features を活用する点が既存手法と異なる - 複数の VLA architecture (OpenVLA, π0, π0-FAST) に適用可能な点が汎用性の面で優位 - 多様な baseline と比較し state-of-the-art の failure detection 性能と accuracy-detection time trade-off を達成

3. 技術・手法の肝は?

- VLA feature space を分析し、VLA がタスク成功/失敗に関する high-level knowledge を汎用的に持つことを発見 - この知見に基づき、VLA internal features から学習する failure detector を設計 - 出力はタスク失敗 likelihood を表す単一 scalar - 学習データは successful と failed の両方の rollouts を使用 - conformal prediction を用いて accuracy と detection time の trade-off を最適化 - 特定 policy architecture に依存せず、複数 VLA に組み込み可能

4. どうやって有効だと検証した?

- OpenVLA, π0, π0-FAST の 3 つの VLA で評価 - simulated 環境と real-world 環境の両方で extensive に実験 - 学習は seen tasks で行い、unseen tasks で評価 - 多様な baseline と比較 - 結果として state-of-the-art の failure detection 性能を達成 - conformal prediction により accuracy と detection time の best trade-off を確認 - 定性的結果とコードは project webpage (https://vla-safe.github.io/) で公開

5. 議論はある?

- 要旨からは不明(本文での限界・失敗事例・計算コスト・VLA ごとの feature 差異などの議論は要旨に記載なし) - 要旨で示唆される点: VLA の high-level knowledge がタスク間で generic であるという分析結果が手法の前提 - 未知タスクへの generalization を主張するが、その範囲や条件の詳細は要旨からは不明

6. 次に読むべき論文は?

- OpenVLA(本研究で評価対象の VLA) - π0(本研究で評価対象の VLA) - π0-FAST(本研究で評価対象の VLA) - conformal prediction(本研究で用いる不確実性定量手法) - 関連する failure detection / anomaly detection の一般手法(baseline として比較) - 要旨で個別の先行研究名は明示されていないため、上記は本研究で参照・比較されている手法・モデルに基づく

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qiao Gu, Yuanliang Ju, Shengxiang Sun, Igor Gilitschenski, Haruki Nishimura, Masha Itkina, Florian Shkurti

分類: cs.RO, cs.AI

原文アブストラクト

While vision-language-action models (VLAs) have shown promising robotic behaviors across a diverse set of manipulation tasks, they achieve limited success rates when deployed on novel tasks out of the box. To allow these policies to safely interact with their environments, we need a failure detector that gives a timely alert such that the robot can stop, backtrack, or ask for help. However, existing failure detectors are trained and tested only on one or a few specific tasks, while generalist VLAs require the detector to generalize and detect failures also in unseen tasks and novel environments. In this paper, we introduce the multitask failure detection problem and propose SAFE, a failure detector for generalist robot policies such as VLAs. We analyze the VLA feature space and find that VLAs have sufficient high-level knowledge about task success and failure, which is generic across different tasks. Based on this insight, we design SAFE to learn from VLA internal features and predict a single scalar indicating the likelihood of task failure. SAFE is trained on both successful and failed rollouts and is evaluated on unseen tasks. SAFE is compatible with different policy architectures. We test it on OpenVLA, $\pi_0$, and $\pi_0$-FAST in both simulated and real-world environments extensively. We compare SAFE with diverse baselines and show that SAFE achieves state-of-the-art failure detection performance and the best trade-off between accuracy and detection time using conformal prediction. More qualitative results and code can be found at the project webpage: https://vla-safe.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI