日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.34175

FailPatch: 視覚言語行動モデルのための失敗残差パッチング

FailPatch: Failure Residual Patching for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLA方策の失敗しやすい状態を検出し、凍結した方策の隠れ表現に残差エキスパートを注入して成功率を改善する手法を提案。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) ポリシーの失敗駆動型改善フレームワーク FailPatch を提案。 - 成功デモと実行時失敗軌跡を分離し、行動監督と信頼性監督を切り離す。 - 凍結した VLA ポリシーの action hidden space に Null-gated Residual Expert Bank を導入。 - 学習可能パラメータは 0.52% のみ。 - RoboTwin 4 タスクと実世界 3 タスクで成功率を改善。

2. 先行研究と比べてどこがすごい?

- 従来は成功デモのみで適応し、失敗しやすい状態をカバーしにくい。 - 失敗軌跡は展開時に得られるが、修正行動の教師信号がない。 - FailPatch は失敗軌跡を信頼性監督として活用し、行動監督と分離。 - 凍結 VLA を保持しつつ、失敗関連状態のみ残差専門家で介入。 - 0.52% の学習可能パラメータで大幅な成功率向上を実現。

3. 技術・手法の肝は?

- action hidden representations が reliable と failure-associated 状態で線形分離可能な点を利用。 - 凍結 VLA の action hidden space に Null-gated Residual Expert Bank を追加。 - Preserve--Redirect--Trust 目的関数で、信頼状態は保持、失敗関連状態は残差専門家を選択。 - 失敗領域から成功関連領域へ表現を誘導し、介入を有界に制限。 - 行動生成に直接条件付けする hidden 表現を操作。

4. どうやって有効だと検証した?

- RoboTwin の 4 つの long-horizon タスクで clean 評価。 - clean-to-random 汎化設定でも評価。 - 実世界 3 タスクでベースラインと比較。 - 成功率が clean で 11.0 ポイント、clean-to-random で 9.5 ポイント、実世界で 16.7 ポイント向上。 - プロジェクトとコードを公開。

5. 議論はある?

- 要旨からは不明。 - 失敗軌跡の収集方法や分布シフトの影響、残差専門家の解釈性、安全性は要旨では議論されていない。 - 有界介入の具体的な範囲や失敗検出の閾値も要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) ポリシー、Residual Learning、Mixture of Experts、RoboTwin ベンチマークが挙げられる。 - 同分野の定番として RT-1、RT-2、OpenVLA などが考えられるが、要旨に記載はない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peng Yu, Jiacheng Wang, Ziheng Zhang, Xuchong Zhang, Baoting Li, Zhuoyuan Yu, Yuxiang Chen, Tiancai Wang, Hongbin Sun

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) policies are typically adapted using successful demonstrations, which provide direct action supervision but rarely cover failure-prone states. Deployment failures expose these states, yet lack the corrective actions needed for conventional supervised learning. We propose FailPatch, a failure-driven residual patching framework that decouples action supervision from execution-reliability supervision. Successful demonstrations ground how the policy should act, while deployment trajectories indicate when its behavior becomes unreliable. We further observe that action hidden representations exhibit clear linear separability between reliable and failure-associated states while directly conditioning action generation. Building on these insights, FailPatch introduces a Null-gated Residual Expert Bank into the action hidden space of a frozen VLA policy. A unified Preserve--Redirect--Trust objective retains the original policy in reliable states, selects residual experts in failure-associated states and redirects representations from failure regions toward success-associated regions under bounded intervention. With only 0.52% trainable parameters, FailPatch improves success rates by 11.0 percentage points on four long-horizon RoboTwin tasks under clean evaluation, 9.5 percentage points under clean-to-random generalization, and 16.7 percentage points over the baseline across three real-world tasks. Project and code: https://github.com/yupeng-2003/FailPatch.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI