OpenGVL：データキュレーションのための視覚的時間進捗ベンチマーク
OpenGVL -- Benchmarking Visual Temporal Progress for Data Curation
ロボットと人間の多様な操作タスクにおける視覚からのタスク進捗予測を評価するベンチマークOpenGVLを提案し、オープンソースモデルがクローズドソースに比べ約70%の性能にとどまることを示した。また、大規模ロボットデータの自動キュレーションへの応用可能性を実証した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Paweł Budzianowski, Emilia Wiśnios, Michał Tyrolski, Gracjan Góral, Igor Kulakov, Viktor Petrenko, Krzysztof Walas
分類: cs.RO, cs.CL
原文アブストラクト
Data scarcity remains one of the most limiting factors in driving progress in robotics. However, the amount of available robotics data in the wild is growing exponentially, creating new opportunities for large-scale data utilization. Reliable temporal task completion prediction could help automatically annotate and curate this data at scale. The Generative Value Learning (GVL) approach was recently proposed, leveraging the knowledge embedded in vision-language models (VLMs) to predict task progress from visual observations. Building upon GVL, we propose OpenGVL, a comprehensive benchmark for estimating task progress across diverse challenging manipulation tasks involving both robotic and human embodiments. We evaluate the capabilities of publicly available open-source foundation models, showing that open-source model families significantly underperform closed-source counterparts, achieving only approximately $70\%$ of their performance on temporal progress prediction tasks. Furthermore, we demonstrate how OpenGVL can serve as a practical tool for automated data curation and filtering, enabling efficient quality assessment of large-scale robotics datasets. We release the benchmark along with the complete codebase at \href{github.com/budzianowski/opengvl}{OpenGVL}.
関連論文
- ロングテールな人間データキュレーションのための品質フィルタ監査データキュレーション
- ATHENA: ロボットデータキュレーションのための高速マルチタスク異種影響関数データキュレーション
- 実際に測定できる多様性：ロボットデータセットのための高速でモデルフリーな多様性指標データキュレーション
- 量より質：データ中心ロボット学習のための影響関数によるデモンストレーションキュレーションデータキュレーション
- ROSER: ロボット学習のスケーラビリティを実現する数ショットロボットシーケンス検索データキュレーション
- Semantic-Drive: オープンボキャブラリ接地とニューロシンボリックVLM合意によるロングテールデータキュレーションの民主化データキュレーション
