日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.20659

StageCraft: VLAモデルにおける妨害物・障害物による失敗を実行時推論で軽減

StageCraft: Execution Aware Mitigation of Distractor and Obstruction Failures in VLA Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAポリシーの実行動画と成否ラベルから、VLMの推論で初期状態の物体配置を調整し、妨害物や障害物による失敗を訓練なしで防ぐプラグインモジュールを提案。

詳しい要約

1. どんなもの?

- Vision Language Action models (VLAs) の実行時障害(distractor や physical obstruction)を軽減する手法 StageCraft を提案。 - 訓練不要のアプローチで、VLM の in-context reasoning を利用し環境の初期状態を操作。 - ポリシーの rollout 動画と成功ラベルを入力とし、予期される失敗を避けるために操作すべきオブジェクトを推論。 - plug-and-play モジュールで、基盤ポリシーに追加制約を課さず、少数の rollout で動作。

2. 先行研究と比べてどこがすごい?

- 既存の policy improvement 手法は base VLAs を finetune するが、未見の distractor 設定では依然として苦戦。 - StageCraft は訓練不要で、internet-scale pretraining された VLM の推論能力を活用する点が新しい。 - 基盤ポリシーに制約を加えず、少数の rollout で済むため、既存手法より適用が容易。

3. 技術・手法の肝は?

- VLM ベースの in-context reasoning を用いて、rollout 動画と成功ラベルから失敗の原因となるオブジェクトを特定。 - そのオブジェクトを初期状態から操作(除去や移動など)することで、実行時の障害を回避。 - 訓練不要で、ポリシーの変更を必要としない plug-and-play モジュール。

4. どうやって有効だと検証した?

- 3つの実世界タスク領域で state-of-the-art VLA モデルに StageCraft を適用し、絶対性能が 40% 向上。 - RLBench でのシミュレーション実験で、StageCraft が基盤ポリシーの強さに応じて介入の程度を調整し、in-context サンプルが多いほど性能が向上することを実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法として policy improvement 手法や VLA モデル(例: RT-2, OpenVLA など)が挙げられる。 - また、VLM の in-context reasoning をロボティクスに応用した研究も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kartikay Milind Pangaonkar, Prabin Rath, Omkar Patil, Nakul Gopalan

分類: cs.RO

原文アブストラクト

Large scale pre-training on text and image data along with diverse robot demonstrations has helped Vision Language Action models (VLAs) to generalize to novel tasks, objects and scenes. However, these models are still susceptible to failure in the presence of execution-time impediments such as distractors and physical obstructions in the robot's workspace. Existing policy improvement methods finetune base VLAs to improve generalization, yet they still struggle in unseen distractor settings. To address this problem, we investigate whether internet-scale pretraining of large vision-language models (VLMs) can be leveraged to reason about these impediments and mitigate policy failures. To this end, we propose StageCraft, a training-free approach to improve pretrained VLA policy performance by manipulating the environment's initial state using VLM-based in-context reasoning. StageCraft takes policy rollout videos and success labels as input and leverages VLM's reasoning ability to infer which objects in the initial state need to be manipulated to avoid anticipated execution failures. StageCraft is an extensible plug-and-play module that does not introduce additional constraints on the underlying policy, and only requires a few policy rollouts to work. We evaluate performance of state-of-the-art VLA models with StageCraft and show an absolute 40% performance improvement across three real world task domains involving diverse distractors and obstructions. Our simulation experiments in RLBench empirically show that StageCraft tailors its extent of intervention based on the strength of the underlying policy and improves its performance with more in-context samples. Videos of StageCraft in effect can be found at https://stagecraft-decorator.github.io/stagecraft/ .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI