エラー回復のための再計画：検証可能なインタラクションによる身体性VLMの学習

- 本論文は、embodied VLM が実行時エラーから復帰するための replanning 能力を、検証可能な interaction を通じて学習させる枠組みを提案する。 - 中核は3点。 - Embodied Replanning for Recovery Environment (ERR-Env): タスク進捗と実行エラーに関する feedback を返す環境。 - ERR-Bench: nominal / intermediate / error 状態を含む held-out タスクで復帰能力と実行信頼性を評価する benchmark。 - Action-Grouped Turn-GSPO (AGT-GSPO): turn-level reward と action-grouped advantage estimation を組み合わせた online reinforcement learning 手法。 - これを用いて compact な 2B の embodied VLM「ERR-VLM」を訓練する。

- 既存の recovery 手法は大きく2種類。 - inference-time の固定 policy に基づく機構。 - 失敗例と参照される correction から学習する方式。 - 本論文はこれらと異なり、verified action outcomes に基づく検証可能な interaction を通じた recovery learning を可能にする点が新規。 - ERR-Env がタスク進捗と実行エラーを feedback として返す。 - 失敗例と参照修正ではなく、実際の行動結果の検証に基づく。 - また ERR-Bench により nominal / intermediate / error 状態を分けて復帰能力と実行信頼性を評価する点も従来と異なる。

- 技術の肝は online reinforcement learning 手法 AGT-GSPO。 - turn-level rewards: タスク進捗とエラー状態に対する報酬を turn 単位で与える。 - action-grouped advantage estimation: 行動をグループ化して advantage を推定する。 - これを ERR-Env 上での検証可能な interaction と組み合わせ、2B の compact な embodied VLM「ERR-VLM」を訓練する。 - 評価基盤として ERR-Bench を構築し、nominal / intermediate / error 状態の held-out タスクを用意する。

- ERR-Bench 上で多様な VLM を評価し、タスク進捗と実行信頼性の間に不一致があることを示した。 - AGT-GSPO による ERR-VLM の改善を定量評価。 - error-free completion の Strict Success Rate が 10.25 percentage points 向上。 - Recovery Rate が 22.95 percentage points 向上。 - さらに ablation と zero-shot transfer により手法の有効性を検証した。

- 多様な VLM においてタスク進捗と実行信頼性が一致しないという知見を提示。 - 進捗は進むが実行信頼性が伴わない、といった乖離の存在を示唆。 - ただし要旨からは、この不一致の原因分析や限界・失敗事例に関する詳細な議論は不明。 - ERR-Env / ERR-Bench のカバレッジや汎化範囲についての議論も要旨からは不明。

- 要旨で直接参照・比較されている研究は明示されていない。 - 関連手法として、inference-time の固定 policy に基づく recovery 機構や、失敗例と参照 correction から学習する手法が挙げられているが個別名は要旨からは不明。 - 次に読むべき候補としては、同分野の定番である embodied VLM の manipulation 研究、replanning / error recovery 研究、online reinforcement learning における advantage estimation 関連手法（例: GRPO 系）が考えられる。 - 具体的な論文名は要旨からは不明。