日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.36808

Spotter: 身体性モデルを主導させ、VLMに内省させる

Spotter: Let the Embodied Model Lead, and the VLM Reflect for It

シェア:XThreadsFacebookLINEはてブBluesky

身体性モデルが連続実行を主導し、VLMが並行して監視・エラー検出時のみ介入して内省・修正する枠組みを提案し、RoboCasaやRoboTwin 2.0で成功率を改善した。

詳しい要約

1. どんなもの?

- 本論文は Spotter を提案する。 - 失敗に自己反応できない embodied model の問題を扱う。 - VLM が並列で監視し、エラー時のみ介入・反省・修正する。 - embodied model が主導し、VLM は補助に回る役割反転が特徴。

2. 先行研究と比べてどこがすごい?

- 従来の VLM-led 手法は VLM が毎ステップ計画し embodied model を道具扱いする。 - そのため VLM が critical path に乗り遅延が大きい。 - Spotter は役割を逆転し、VLM を並列監視・エラー時のみ介入に限定。 - 同じ VLM を使う VLM-led baseline より約70%時間短縮。

3. 技術・手法の肝は?

- embodied model が連続実行を主導する。 - VLM は並列で動作し、lightweight local screener で監視する。 - エラー検出時のみ VLM が介入し、反省・修正して制御を戻す。 - 入力に episode history や text など広い情報を使う。

4. どうやって有効だと検証した?

- Qwen と GPT を VLM として Spotter を実行。 - 両方で embodied model が改善。 - GPT 版は RoboCasa で Cosmos Policy と π_{0.5} を 5.6 と 7.5 ポイント改善。 - RoboTwin 2.0 の Hard 設定で π_{0.5} を 47.2% から 57.0% に向上。 - 実機で 53% から 83% に向上。

5. 議論はある?

- 失敗の自己修復が難しい原因を、成功デモのみの学習と入力の狭さに帰属。 - 反省は VLM に委ねるべきと結論。 - エラー確認時のみ VLM が介入するため、成功エピソードの遅延は Qwen で 13〜16 秒増に留まる。 - 詳細な限界や失敗事例は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている VLM-led 手法。 - 具体的な論文名は要旨からは不明。 - 関連手法として embodied model、VLM、best-of-N selection、Cosmos Policy、π_{0.5}、RoboCasa、RoboTwin 2.0 が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Long Li, Qichao Zhao, Yue Yang, Fan Xu, Zhe Wang, Alan Wee-Chung Liew, Chao Qu, Heng Tao Shen, Shirui Pan

分類: cs.RO, cs.AI

原文アブストラクト

Current embodied models do not respond to their own failures, although what just went wrong could inform a small adjustment on the next attempt, the kind of reflection behind the gains of thinking in language models. We test whether they can repair a known error, which requires producing a correction and judging whether it is right. Stopped at a failure and allowed to retry, they seldom repair it through their own randomness or from a language description of the error, and best-of-N selection cannot pick the successful candidate after a failure. We attribute this to training only on successful demonstrations and to inputs too narrow to show what went wrong, and conclude that reflection must come from a vision-language model (VLM), which takes in far more information, such as the episode history and text, and is more general. Prior VLM-led work has the VLM plan every step and invoke the embodied model as a tool, placing the VLM on the critical path. We propose Spotter, which reverses the roles: the embodied model leads and executes continuously, while the VLM runs in parallel, monitors through a lightweight local screener, intervenes only when an error is detected, reflects on and corrects it, and returns control. We run Spotter with Qwen and with GPT as the VLM, and both improve the embodied models; with GPT, Spotter improves Cosmos Policy and $π_{0.5}$ by 5.6 and 7.5 percentage points on RoboCasa, and raises $π_{0.5}$ from 47.2% to 57.0% on the Hard setting of RoboTwin 2.0 and from 53% to 83% on a real robot. Because the VLM steps in only when an error is confirmed, a successful episode with Qwen takes only 13 to 16 s longer than with the embodied model alone and about 70% less time than with a VLM-led baseline using the same model. Our code is available at https://github.com/zqc3117/Spotter.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI