日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/失敗回復arXiv:2606.09258

馴染みのある未来への回帰:事前生成マイルストーン選択によるVLAポリシーの失敗回復

Back to the Familiar Future: Failure Recovery for VLA Policies via Pre-Imagined Milestone Selection

シェア:XThreadsFacebookLINEはてブBluesky

VLAポリシーが操作中に軌道から逸脱した際、事前に生成した未来状態のマイルストーンを選択して固定目標とすることで、微調整なしに失敗から回復させる手法を提案した。

詳しい要約

1. どんなもの?

VLA policiesの操作中に生じるnominal trajectoryからの逸脱に対し、事前に生成したfuture visual conditioningをrecovery interfaceとして用いる回復フレームワークB2FFを提案する。実行前にclean initial observationを条件にfamiliar future statesのmilestone bankを生成し、回復時にはrecoverability-aware selectorがbankからrecovery milestoneを選び、固定visual goalとして強制することで、off-trajectory observationsをfamiliar futureへ戻す。

2. 先行研究と比べてどこがすごい?

逸脱時に直接re-planningするとaction sequencesが不安定化しやすいという課題に対し、B2FFはlow-level action generatorをfine-tuningせずに回復を可能にする点が異なる。failure-injected LIBEROにおいて、制御された回復タイミングでbaseline VLAの平均成功率を56.3%から74.0%へ向上させた。

3. 技術・手法の肝は?

foresight-driven VLAのfuture visual conditioningを回復インターフェースとして利用する。実行前にclean initial observationを条件としてfamiliar future statesのmilestone bankを生成する。回復時にはrecoverability-aware selectorがbankからrecovery milestoneを選択し、それをfixed visual goalとしてVLAに与えることで、off-trajectory observationをfamiliar futureへ写像する。

4. どうやって有効だと検証した?

failure-injected LIBERO上で、注入されたfailureに整合する制御されたrecovery timingの下で評価した。その結果、baseline VLAの平均成功率が56.3%から74.0%に向上した。

5. 議論はある?

low-level action generatorのfine-tuningなしにpre-imagined milestonesが回復を導けることを示す。ただし、failure-injected LIBEROかつ制御されたrecovery timingに限定した評価であり、他の環境やタイミングへの一般化、milestone bankの品質やselectorの限界については要旨からは不明。

6. 次に読むべき論文は?

要旨で参照・比較されている研究は明示されていない。関連手法としてVLA policies、foresight-driven VLA、future visual conditioning、LIBEROが挙げられる。同分野の定番としてvision-language-action modelsやmanipulation benchmarksを読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Suyeon Shin, Juwon Kim, Hyeonbin Park, Hyunseo Kim, Hyundo Lee, Hyung-Sin Kim, Byoung-Tak Zhang

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) policies can deviate from nominal trajectories during manipulation, even when tasks remain physically feasible. Recovering from these deviations is challenging, as they push the policy into unfamiliar state spaces where direct re-planning frequently destabilizes action sequences. We propose Back to the Familiar Future (B2FF), a recovery framework for foresight-driven VLAs that leverages future visual conditioning as a recovery interface. Before execution, the VLA generates a milestone bank of familiar future states conditioned on the clean initial observation. At recovery time, a recoverability-aware selector selects a recovery milestone from this bank and enforces it as a fixed visual goal. This enables the VLA to robustly map off-trajectory observations back to a familiar future. On failure-injected LIBERO, under controlled recovery timing aligned with the injected failure, B2FF increases the average success rate of a baseline VLA from 56.3% to 74.0%, demonstrating that pre-imagined milestones can guide recovery without fine-tuning the low-level action generator.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI