日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/操作arXiv:2606.09740

ProbeAct: プローブ誘導による訓練不要の視覚言語行動モデル障害回復

ProbeAct: Probe-Guided Training-Free Failure Recovery in Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデル(VLA)の失敗を検出・回復する訓練不要の介入フレームワークを提案。隠れ状態プローブと運動状態機械、制御障壁関数フィルタを組み合わせ、追加学習なしで成功率を向上させる。

詳しい要約

1. どんなもの?

- 事前学習済み VLA モデルの実行時介入フレームワーク PROBEACT を提案 - 学習不要(training-free)で重み変更や追加デモを必要としない - 対象は language-conditioned robotic manipulation における grasping/placement 失敗 - 3 要素で構成 - multi-target hidden-state probe による 3D 位置予測 - object-agnostic kinematic state machine による失敗検出 - hierarchical Control Barrier Function (CBF) filter による行動修正

2. 先行研究と比べてどこがすごい?

- 既存 VLA は訓練分布内では強いが、照明変化・視点変更・初期状態の微小変動で失敗しやすい - PROBEACT は重みを変えず追加デモも不要で、既存の学習パイプラインと直交する plug-and-play 介入 - 事前学習済みポリシーに対する universal safety net として機能 - base と fine-tuned の両 VLA ポリシーに広く適用可能

3. 技術・手法の肝は?

- multi-target hidden-state probe が VLA 中間特徴からタスク関連物体の 3D 位置を予測 - Hungarian-matched identity tracking で多物体シーンを追跡 - object-agnostic kinematic state machine が gripper-internal signals と end-effector kinematics のみで grasp/transport/placement 失敗を検出 - hierarchical CBF filter が繰り返し失敗位置を soft safe-set constraints として符号化し、VLA 行動を最小修正

4. どうやって有効だと検証した?

- LIBERO-plus benchmark で評価 - OpenVLA-OFT モデルの成功率を 69.6% から 74.1% へ改善 - base および fine-tuned VLA ポリシーへの広い適用性を実証

5. 議論はある?

- 要旨からは不明 - 限界や失敗事例、計算コスト、他ベンチマークへの一般化については記述なし

6. 次に読むべき論文は?

- OpenVLA-OFT - LIBERO-plus - Control Barrier Function (CBF) 関連研究 - Vision-Language-Action (VLA) モデル全般

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fan Zhang, Seongbin Park, Baharan Mirzasoleiman, Shariar Talebi, Nader Sehatbakhsh

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models demonstrate strong perfor-1 mance on language-conditioned robotic manipulation within their training dis-2 tribution, yet their generalization capabilities remain fundamentally limited. They3 lack the robustness required to handle perturbations, frequently failing when con-4 fronted with lighting changes, altered camera viewpoints, or small initial-state5 variations. We propose PROBEACT, a training-free runtime intervention frame-6 work that detects and recovers from grasping and placement failures in pre-7 trained VLA policies without modifying their weights or requiring additional8 demonstrations. PROBEACT combines three components: (i) a lightweight multi-9 target hidden-state probe that predicts the 3D positions of task-relevant objects10 from intermediate VLA features, with Hungarian-matched identity tracking for11 multi-object scenes; (ii) an object-agnostic kinematic state machine that detects12 grasp, transport, and placement failures using only gripper-internal signals and13 end-effector kinematics; and (iii) a hierarchical Control Barrier Function (CBF)14 filter that encodes repeated-failure locations as soft safe-set constraints, mini-15 mally correcting VLA actions while preserving baseline behavior. As a plug-and-16 play, training-free intervention loop, PROBEACT is orthogonal to existing train-17 ing pipelines. Evaluated on the LIBERO-plus benchmark, our framework acts as18 a universal safety net, improving the success rate of the OpenVLA-OFT model19 from 69.6% to 74.1%, while demonstrating broad applicability to both base and20 fine-tuned VLA policies.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI