SPARC: ロボットデモからの信頼性校正付き空間アノテーションの大規模生成

- ロボット実演に構造化された空間アノテーションを自動付与するフレームワーク SPARC を提案。 - bounding boxes、object trajectories、manipulation phase labels などを生成し、各アノテーションに reliability score を付与。 - 信頼性スコアにより noisy labels を減らし、有用なサンプルを保持する risk-aware な手法。 - 併せて Interaction-Aware Bench (IA-Bench) を導入し、実演中の interacted objects の位置を grounding する精度を評価。

- 既存の自動パイプラインは大規模にアノテーションを生成できるが、品質シグナルを提供しない。 - detector confidence はアノテーションの正しさに対して十分に calibrated されておらず、noisy labels を受け入れるか有用サンプルを捨てるかの二択を迫る。 - SPARC はロボットタスク固有の spatio-temporal structure を利用して reliability signal を生成。 - 1.7k の human-annotated demonstrations で、detection-only baselines より localization accuracy が大幅に向上し、高精度動作点で3倍多くのサンプルを保持。

- ロボットタスクに内在する spatio-temporal structure を活用し、アノテーションの reliability signal を生成。 - 各アノテーションに reliability score を割り当て、risk-aware に noisy labels を低減。 - 構造化空間アノテーションとして bounding boxes、object trajectories、manipulation phase labels を自動生成。 - 具体的なアルゴリズムやモデル構成の詳細は要旨からは不明。

- 多様な embodiments と scenarios をカバーする 1.7k の human-annotated demonstrations で評価。 - SPARC は detection-only baselines と比較して localization accuracy で大幅に優れ、高精度動作点で3倍多くのサンプルを保持。 - SPARC のアノテーションで finetune したモデルは、同規模モデル間で object-grounding および pointing benchmarks で state-of-the-art を達成。 - 手動検証・アノテーションなしの training data で、より広範な spatial-reasoning suites でも競争力を維持。 - SPARC 生成アノテーションで訓練した policies は、cluttered で視覚的に曖昧な実世界シーンで baselines を上回る。

- 既存手法の detector confidence がアノテーション正しさに対して不適切に calibrated である問題を指摘。 - 信頼性スコアにより noisy labels を減らしつつ有用サンプルを保持する利点を主張。 - 具体的な限界や失敗ケース、計算コスト、一般化可能性に関する議論は要旨からは不明。

- 要旨で参照/比較されている detection-only baselines や既存の自動アノテーションパイプライン。 - 関連手法として object-grounding、pointing benchmarks、embodied foundation models、motion planning、hierarchical task composition に関する研究。 - 具体的な論文名は要旨に記載がないため、同分野の定番として detection-based annotation pipelines や embodied foundation models を挙げる。