RoboMonkey: VLAモデルのためのテスト時サンプリングと検証のスケーリング

- Vision-Language-Action (VLA) モデルの test-time scaling を目的としたフレームワーク RoboMonkey を提案 - 推論時に VLA から少数の action をサンプリングし、Gaussian perturbation と majority voting で action proposal distribution を構築 - Vision Language Model (VLM) ベースの verifier で最適な action を選択する - 合成データ生成パイプラインにより VLM verifier を訓練する手法も含む

- VLA の robustness と generalization を推論時 scaling で改善する点が特徴 - action error と生成サンプル数の関係が exponentiated power law に従うことを複数の VLA で示し、inference-time scaling laws の存在を示唆 - 既存 VLA に RoboMonkey を組み合わせるだけで out-of-distribution タスクで 25%、in-distribution タスクで 9% の絶対性能改善 - 新しい robot setup への適応時、VLA と action verifier の両方を fine-tuning すると VLA のみより 7% 向上

- 推論時に VLA から少数の action をサンプリング - Gaussian perturbation と majority voting で action proposal distribution を構築 - VLM ベースの verifier が proposal から最適 action を選択 - verifier 訓練用の synthetic data generation pipeline を提案 - synthetic dataset の scaling が verification と downstream accuracy を一貫して改善

- 広範な simulated 実験と hardware 実験を実施 - 既存 VLA に RoboMonkey を適用し、out-of-distribution タスクで 25%、in-distribution タスクで 9% の絶対改善を確認 - 新しい robot setup への適応実験で、VLA と action verifier の同時 fine-tuning が VLA のみの fine-tuning より 7% 高い性能を示す - synthetic dataset の scaling による verification と downstream accuracy の改善も検証

- action error とサンプル数の exponentiated power law 関係から inference-time scaling laws の存在を示唆 - 合成データの scaling が verifier 性能と下流精度を改善することを議論 - 実環境での robustness 向上と新規 robot setup への適応における verifier 併用の有効性を議論 - 具体的な限界や失敗事例については要旨からは不明

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法として Vision-Language-Action (VLA) モデル、Vision Language Model (VLM) verifier、test-time scaling、majority voting、Gaussian perturbation に関する研究 - 同分野の定番として VLA の robustness や generalization を扱う研究、inference-time scaling laws に関する研究を挙げる