日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.04018

FPC-VLA:失敗予測と修正のためのスーパーバイザを備えた視覚-言語-行動フレームワーク

FPC-VLA: A Vision-Language-Action Framework with a Supervisor for Failure Prediction and Correction

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルに失敗予測と修正を行うスーパーバイザを組み合わせ、シミュレーションと実機で成功率を向上させたデュアルモデルフレームワーク。

詳しい要約

1. どんなもの?

- ロボットマニピュレーション向けの dual-model フレームワーク - VLA (Vision-Language-Action) モデルと supervisor を統合 - supervisor が failure prediction と correction を担う - 目的は open-ended タスクでの柔軟性と信頼性の向上 - 単一 end-to-end VLA の失敗予測・回復機構の欠如を補う - 複数の simulation と実機 embodiment で評価された枠組み

2. 先行研究と比べてどこがすごい?

- 従来の perception-planning パイプラインは柔軟性が限定的 - 単一 end-to-end VLA は failure の予測・回復機構を持たない - FPC-VLA は supervisor を追加し failure prediction/correction を実現 - 人手ラベリングなしで効率的に学習 - SIMPLER と LIBERO、WidowX/Google Robot/Franka で SOTA を上回ると報告 - zero-shot と fine-tuned の両設定で優位

3. 技術・手法の肝は?

- VLA と supervisor からなる dual-model 構成 - supervisor が vision-language queries で行動の viability を評価 - リスク発生時に corrective strategies を生成 - 手動ラベルなしで効率的に訓練 - dual-stream fusion module で過去の予測を活用し行動を精緻化 - 詳細な学習手順や損失設計は要旨からは不明

4. どうやって有効だと検証した?

- 複数の simulation platform で評価 - SIMPLER と LIBERO - 複数の robot embodiment で評価 - WidowX、Google Robot、Franka - zero-shot と fine-tuned の両設定で SOTA 比較を実施 - 実世界で long-horizon タスクへの展開に成功 - 汎化性と実用性を確認したと報告

5. 議論はある?

- supervisor の誤判定や追加計算コストの影響は要旨からは不明 - dual-stream fusion の寄与度の詳細分析は要旨からは不明 - 実世界展開のタスク規模・失敗率の定量結果は要旨からは不明 - 限界や失敗事例に関する議論は要旨からは不明

6. 次に読むべき論文は?

- 比較対象として言及される SOTA の VLA モデル (具体的名称は要旨からは不明) - SIMPLER および LIBERO の benchmark 論文 - vision-language model を用いた failure detection / recovery の関連研究 - dual-stream fusion や action refinement に関する関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifan Yang, Zhixiang Duan, Tianshi Xie, Fuyu Cao, Pinxi Shen, Peili Song, Piaopiao Jin, Guokang Sun, Shaoqing Xu, Yangwei You, Jingtai Liu

分類: cs.RO

原文アブストラクト

Robotic manipulation is a fundamental component of automation. However, traditional perception-planning pipelines often fall short in open-ended tasks due to limited flexibility, while the architecture of a single end-to-end Vision-Language-Action (VLA) offers promising capabilities but lacks crucial mechanisms for anticipating and recovering from failure. To address these challenges, we propose FPC-VLA, a dual-model framework that integrates VLA with a supervisor for failure prediction and correction. The supervisor evaluates action viability through vision-language queries and generates corrective strategies when risks arise, trained efficiently without manual labeling. A dual-stream fusion module further refines actions by leveraging past predictions. Evaluation results on multiple simulation platforms (SIMPLER and LIBERO) and robot embodiments (WidowX, Google Robot, Franka) show that FPC-VLA outperforms state-of-the-art models in both zero-shot and fine-tuned settings. Successful real-world deployments on diverse, long-horizon tasks confirm FPC-VLA's strong generalization and practical utility for building more reliable autonomous systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI