日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.01946

視覚言語ロボット操作のための環境横断的な失敗推論データのスケーリング

Scaling Cross-Environment Failure Reasoning Data for Vision-Language Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

成功軌道を摂動させて多様な失敗データを自動生成し、VLMで推論トレースを付与した大規模データセットFailCoTを構築。これで訓練した検証モデルGuardianは未知環境での失敗検出性能を向上させ、操作タスクの成功率を高めた。

詳しい要約

1. どんなもの?

- 視覚言語ロボット操作における失敗検出・回復のための大規模データセットとモデルを提案する研究 - 失敗推論データセット FailCoT を構築 - RLBench シミュレータと BridgeDataV2 実ロボットデータセットを基盤とする - マルチビュー推論 VLM である Guardian を学習 - 計画(planning)と実行(execution)の検証を統合的に行う - コード・データ・モデルを公開

2. 先行研究と比べてどこがすごい?

- 従来の VLM による失敗検出は、失敗データの希少性とカバレッジの狭さから汎化が大きく制限されていた - 本研究はシミュレーションと実世界の両方にまたがる多様な失敗データを自動生成する枠組みを提案 - これにより高品質な失敗推論データのスケーリングが可能となり、未見の実世界ベンチマークで state-of-the-art を達成 - 既存の LLM ベース操作ポリシーと統合するとタスク成功率を一貫して向上

3. 技術・手法の肝は?

- 成功した操作軌跡を摂動(perturb)して、現実的な失敗分布を反映する失敗を合成 - 計画段階と実行段階の両方の失敗を対象 - VLM を用いて構造化されたステップバイステップの推論トレースを生成 - これらを FailCoT として大規模データセット化 - FailCoT で Guardian を学習 - マルチビュー入力を扱う推論 VLM - 計画検証と実行検証を統合

4. どうやって有効だと検証した?

- 未見の実世界ベンチマーク3種で評価 - RoboFail - RoboVQA - 新規に導入した UR5-Fail - Guardian がこれらのベンチマークで state-of-the-art 性能を達成 - state-of-the-art な LLM ベース操作ポリシーと統合し、シミュレーションと実世界展開の両方でタスク成功率が一貫して向上することを確認

5. 議論はある?

- 高品質な失敗推論データのスケーリングがロボット失敗検出の汎化に重要であると結論 - 失敗データの希少性・狭いカバレッジというボトルネックの緩和を主張 - 具体的な限界や失敗ケース、計算コスト、摂動の現実性に関する詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- RLBench(本論文の基盤シミュレータ) - BridgeDataV2(本論文の基盤実ロボットデータセット) - RoboFail(比較対象ベンチマーク) - RoboVQA(比較対象ベンチマーク) - UR5-Fail(本論文で新規導入したベンチマーク) - LLM ベース操作ポリシー(統合先として言及)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Paul Pacaud, Ricardo Garcia, Shizhe Chen, Cordelia Schmid

分類: cs.RO, cs.CV

原文アブストラクト

Robust robotic manipulation requires reliable failure detection and recovery. Although recent Vision-Language Models (VLMs) show promise in robot failure detection, their generalization is severely limited by the scarcity and narrow coverage of failure data. To address this bottleneck, we propose an automatic framework for generating diverse robotic planning and execution failures across both simulated and real-world environments. Our approach perturbs successful manipulation trajectories to synthesize failures that reflect realistic failure distributions, and leverages VLMs to produce structured step-by-step reasoning traces. This yields FailCoT, a large-scale failure reasoning dataset built upon the RLBench simulator and the BridgeDataV2 real-robot dataset. Using FailCoT, we train Guardian, a multi-view reasoning VLM for unified planning and execution verification. Guardian achieves state-of-the-art performance on three unseen real-world benchmarks: RoboFail, RoboVQA, and our newly introduced UR5-Fail. When integrated with a state-of-the-art LLM-based manipulation policy, it consistently boosts task success rates in both simulation and real-world deployment. These results demonstrate that scaling high-quality failure reasoning data is critical for improving generalization in robotic failure detection. Code, Data, and Models available at https://www.di.ens.fr/willow/research/guardian/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI