ProcVLM: 手順に基づく進捗報酬を学習するロボット操作モデル

- 長期的なロボットマニピュレーション向けに、タスクの手順段階に基づく密な進捗報酬を学習する進捗認識型 vision-language model『ProcVLM』を提案。 - 最終的な成功/失敗ラベルや時間ベースの補間ではなく、手順構造と段階内の視覚変化に基づいて進捗を推定する。 - 推論してから推定するパラダイムを採用し、残りの atomic actions を推論した上でタスク進捗を見積もる。 - 30 の embodied datasets から 60M フレームを注釈付けした ProcCorpus-60M と、手順認識事前学習用の ProcVQA を構築。

- 既存の報酬モデルは trajectory-level の成功ラベルや時間ベース補間に依存し、経過時間と真の進捗を混同しやすい。 - その結果、未完了ステップ、停滞、失敗状態を捉えられない問題があった。 - ProcVLM は終端結果や時間代理変数ではなく、手順構造と intra-stage の視覚変化に進捗推定を接地させる点が異なる。 - 代表的なベースラインより識別力の高い trajectory 内部の進捗推定を実現すると主張。

- 進捗推定を手順構造と intra-stage visual change に基づかせる。 - reasoning-before-estimation パラダイムを採用し、残りの atomic actions を推論してから進捗を推定。 - 教師信号は frame-level の subtask-semantic annotations を合成し、subtask 構造に応じて progress budgets を割り当て、各 budget を intra-subtask visual change に基づき配分して構築。 - 標準化された procedural supervision synthesis pipeline を構築し、ProcCorpus-60M から ProcVQA を導出。 - ProcVQA では進捗推定を中心タスクとし、action segmentation と future planning も含む。

- ProcVQA と reward-model benchmarks 上で実験を実施。 - ProcVLM が embodied procedural reasoning を改善し、代表的なベースラインより識別力の高い trajectory-internal progress estimates を生成することを示した。 - 下流の reward-guided policy optimization における密な報酬モデルとしての利用可能性を支持する結果を得た。

- 要旨からは不明。 - ただし、時間ベース補間が経過時間と真の進捗を混同し、未完了ステップ・停滞・失敗状態を捉えられないという既存手法の限界を議論している。 - ProcVLM がそれらを改善し得る点を主張している。

- 要旨で参照・比較されている具体的な研究名は明示されていない。 - 関連手法として、trajectory-level success labels を用いる reward models、time-based interpolation を用いる手法、vision-language model ベースの報酬モデルが挙げられる。 - 同分野の定番として、robotic manipulation における dense reward learning、vision-language model を用いた reward modeling、procedure-aware pretraining に関する研究を次に読むべき。