マニピュレーション2026/3/1arXiv:2603.09292

見て、計画して、巻き戻す：進捗認識型視覚言語行動モデルによる堅牢なロボット操作

See, Plan, Rewind: Progress-Aware Vision-Language-Action Models for Robust Robotic Manipulation

ロボット操作のタスク進捗を明示的なマイルストーンで測定し、失敗時に回復可能な状態へ巻き戻すことで堅牢性を高める、進捗認識型の視覚言語行動フレームワークSPRを提案した。

詳しい要約

1. どんなもの？

- ロボット操作のための進捗認識型 vision-language-action フレームワーク SPR（See, Plan, Rewind） - 言語指示を空間的な subgoal 列に動的に接地 - 現在状態と次のマイルストーンを見る Seeing、次の 2D waypoint への軌道を計画する Planning、失敗時に回復可能状態へ巻き戻す Rewinding の閉ループ - 追加学習データや補助モデルなしで誤り訂正を実現

2. 先行研究と比べてどこがすごい？

- MolmoAct baseline を LIBERO benchmark で 5% 上回る - 未見指示・初期状態の LIBERO-Plus で OpenVLA-OFT と UniVLA を超え、性能低下が最小の state-of-the-art robustness - 追加学習データや補助モデルを必要とせずに robust な error correction を実現 - 分布外への汎化と堅牢性で優位

3. 技術・手法の肝は？

- 明示的で実行可能なマイルストーンによるタスク進捗の測定 - 言語指示を空間的 subgoal 列へ動的に接地 - 連続的なコアサイクル：Seeing（現在状態と次のマイルストーン）→ Planning（次の 2D waypoint への軌道）→ Rewinding（失敗時に回復可能状態へ） - 期待される系列に対する進捗監視で失敗を検出し回復 - 閉ループで追加学習データ・補助モデル不要

4. どうやって有効だと検証した？

- LIBERO benchmark で MolmoAct baseline と比較し 5% 向上 - 未見指示・初期状態を含む LIBERO-Plus benchmark で評価 - OpenVLA-OFT と UniVLA を上回り、性能低下が最小の state-of-the-art robustness を達成 - 分布外への汎化と堅牢性を実証

5. 議論はある？

- 要旨からは不明（限界や失敗事例、計算コスト、マイルストーン設計の一般性などは記述なし）

6. 次に読むべき論文は？

- MolmoAct（baseline） - OpenVLA-OFT - UniVLA - LIBERO / LIBERO-Plus benchmark 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tingjun Dai, Mingfei Han, Tingwen Du, Zhiheng Liu, Zihao Zhang, Zhihui Li, Salman Khan, Jun Yu, Xiaojun Chang

分類: cs.RO, cs.CV

原文アブストラクト

Measurement of task progress through explicit, actionable milestones is critical for robust robotic manipulation. This progress awareness enables a model to ground its current task status, anticipate verifiable intermediate states, and detect and recover from failures when progress stalls. To embody this capability, we introduce \textbf{S}ee, \textbf{P}lan, \textbf{R}ewind (SPR), a progress-aware vision-language-action framework that dynamically grounds language instructions into a sequence of spatial subgoals. SPR operates through a continuous core cycle, Seeing the current state and upcoming milestone, Planning a trajectory towards the next 2D waypoint, and Rewinding to a recoverable state upon failure by monitoring progress against the expected sequence. This closed-loop approach enables robust error correction without requiring additional training data or auxiliary models. Extensive experiments demonstrate the framework's effectiveness, generalization and robustness: SPR outperforms the MolmoAct baseline by 5\% on the LIBERO benchmark. On the challenging LIBERO-Plus benchmark with unseen instructions and initial states, SPR achieves state-of-the-art robustness with the smallest performance drop, surpassing OpenVLA-OFT and UniVLA, demonstrating superior out-of-distribution robustness.

arXivで原文を読む →arXiv概要ページ

見て、計画して、巻き戻す：進捗認識型視覚言語行動モデルによる堅牢なロボット操作

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell