RoboProcessBench: 視覚言語ロボット操作におけるプロセス認識理解のベンチマーク

- Vision-language models (VLMs) のロボットマニピュレーションにおける過程理解を評価するベンチマーク RoboProcessBench を提案。 - 静的な監視 (static monitoring) と動的な推論 (dynamic reasoning) の2次元に分解。 - 12の診断的質問ファミリー (phase, contact, motion, coordination, primitive-local progress, temporal order, outcome, primitive-level transitions) を包含。 - 物理的に根拠のある実行トレースから構築された ProcessData は約58kのQAペア、260タスク。 - ProcessData-SFT と ProcessData-Eval に分割し、post-training と評価に使用。

- 既存の評価は最終的なタスク成功の判断に焦点を当て、マニピュレーション実行の物理的・時間的進行を細かく理解できるかをテストしていなかった。 - RoboProcessBench はプロセス認識理解を静的な監視と動的な推論に分解し、12の診断的質問ファミリーで評価する点が新しい。 - 既存ベンチマークと比べ、フェーズ、接触、運動、協調、プリミティブ局所進行、時間順序、結果、プリミティブ遷移など多面的な能力を測定。 - 評価だけでなく、ProcessData-SFT による学習可能な監督源も提供。

- 物理的に根拠のある実行トレースから ProcessData を構築。 - 12の診断的質問ファミリーを設計し、静的な監視と動的な推論をカバー。 - 約58kのQAペアを260のマニピュレーションタスクから収集。 - ProcessData-SFT と ProcessData-Eval に分割し、post-training と評価に利用。 - 評価では様々な VLM を ProcessData-Eval でテストし、post-training には Qwen2.5-VL-7B と InternVL-3-8B を使用。

- ProcessData-Eval 上で様々な VLM を広範囲に評価。 - 12の診断タスクファミリー全体で幅広い限界が明らかになり、現在のモデルがロボットマニピュレーション実行の堅牢なプロセス認識理解を欠いていることを示唆。 - ProcessData-SFT を用いた post-training により、Qwen2.5-VL-7B と InternVL-3-8B が local state, motion, progress, primitive-aware cues で一貫した改善を示した。 - これらの結果から、RoboProcessBench が評価ベンチマークと学習可能な監督源の両方として機能することを実証。

- 現在の VLM はプロセス認識理解において広範な限界があることが示唆された。 - ProcessData-SFT による post-training で一部の能力が改善するが、すべての診断タスクファミリーで十分かは要旨からは不明。 - ベンチマークの一般化可能性や実世界ロボットへの適用可能性については要旨からは不明。 - 倫理的・安全面の議論は要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Vision-language models (VLMs) を visual critics, reward generators, failure detectors として用いる研究が挙げられる。 - 具体的な論文名は要旨からは不明。 - 同分野の定番として、ロボットマニピュレーションにおける VLM の評価や failure detection に関する研究が考えられる。