日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.39820

実行時フィードバックから失敗バンク自己進化による視覚言語行動モデルの学習

Learning from Runtime Feedback through Failure-Bank Self-Evolution for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルが実行時の安全フィードバックを失敗バンクとして蓄積し、LoRA更新でポリシーを自己進化させることで、タスク成功率を高めつつ危険コストを削減するフレームワークを提案。

詳しい要約

1. どんなもの?

- Vision-language-action (VLA) モデル向けの自己進化フレームワーク FailBank を提案 - ランタイムフィードバックを恒久的なポリシー改善に変換する - 4段階のプロセス: 収集、結果認識型アドミッション、LoRA更新、評価 - 複雑環境でのタスク成功と意図しない接触のバランスを取る - VLA-Arena ベンチマークで検証

2. 先行研究と比べてどこがすごい?

- 従来のランタイムシールドは個別行動を修正するがポリシーは不変 - ポリシーとシールドの不一致がタスク進行を妨げる問題を解決 - ランタイムフィードバックを一時的な行動制約ではなく永続的なポリシー監督として活用 - ベースポリシーと比較して成功コスト動作点を改善 - ランタイムシールドと比較してタスク成功率を大幅向上

3. 技術・手法の肝は?

- 収集段階: 固定CBFベース安全モジュールが観察専用教師として反事実的修正を生成 - 結果認識型アドミッション: 有用な提案を修正ターゲットに変換 - 成功した未修正行動を quiet anchors として保持 - guarded LoRA updates によりポリシーを更新 - 4段階の自己進化フレームワーク

4. どうやって有効だと検証した?

- VLA-Arena ベンチマークで2つの難易度レベルと2つのVLAバックボーンで評価 - ベースポリシーと比較: タスク成功率が8.5および6.9ポイント向上 - ポリシー起因の累積コストを35.6%および23.8%削減 - ランタイムシールドと比較: タスク成功率が25.4および9.5ポイント向上 - ポリシー起因の累積コストは同等を維持

5. 議論はある?

- ランタイムフィードバックが一時的な行動制約ではなく永続的なポリシー監督として機能し得ることを示す - ポリシーとシールドの不一致問題への対処 - 成功とコストのトレードオフ改善 - 要旨からは不明: 他のタスクや環境への汎化性、計算コスト、長期安定性

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: runtime shields, CBF-based safety module, LoRA - 関連手法: VLA-Arena benchmark, Vision-Language-Action (VLA) models - 同分野の定番: Safe Reinforcement Learning, Constrained Policy Optimization, Runtime Monitoring

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingyue Cui, Zheyuan Liu, Yihan Zhu, Zheyuan Zhang, Meng Jiang

分類: cs.RO, cs.AI

原文アブストラクト

Vision-language-action (VLA) models generalize broadly across robotic manipulation tasks, but complex environments require balancing task success with unintended contact. Runtime shields can correct individual actions, but they leave the underlying policy unchanged, so repeated disagreements may create a persistent policy-shield mismatch that blocks task progress. To address this challenge, we introduce FailBank, a four-stage self-evolving framework that converts runtime feedback into persistent policy improvement. During collection, a fixed CBF-based safety module serves as an observe-only teacher, producing counterfactual corrections while the policy remains in control. Outcome-aware admission then converts useful proposals into corrective targets and retains successful uncorrected actions as quiet anchors for guarded LoRA updates. We evaluate FailBank on the VLA-Arena benchmark across two difficulty levels and two VLA backbones. Compared with the base policies, FailBank improves the joint success-cost operating point. Across the two backbones, FailBank improves task success rate by 8.5 and 6.9 percentage points, while reducing policy-induced cumulative cost by 35.6\% and 23.8\%, respectively. Compared with runtime shielding, FailBank raises task success rate by 25.4 and 9.5 percentage points, while maintaining comparable policy-induced cumulative cost. These results show that runtime feedback can serve as persistent policy supervision rather than only as a temporary action constraint.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI