人物-物体インタラクション検出2025/7/1arXiv:2507.09111

RoHOI: 人物-物体インタラクション検出のためのロバスト性ベンチマーク

RoHOI: Robustness Benchmark for Human-Object Interaction Detection

人物-物体インタラクション検出モデルのロバスト性を評価する初のベンチマークRoHOIを提案し、20種類の汚染条件下での性能低下を分析。ロバスト性向上のためのSAMPL戦略も提案。

詳しい要約

1. どんなもの？

- HOI detection のロバスト性ベンチマーク RoHOI を提案する論文 - 実世界の corruptions 下での HOI モデルの劣化問題に対処 - HICO-DET と V-COCO を基に 20 種類の corruption を構築 - ロバスト性に特化した新たな評価指標を導入 - 既存 HOI モデルを体系的に分析し、corruption 下での性能低下を明示 - ロバスト性改善のため SAMPL 戦略を提案

2. 先行研究と比べてどこがすごい？

- HOI detection における最初のロバスト性ベンチマークである点が新規 - 従来は clean datasets で学習・評価され、実環境の corruption を考慮していなかった - 既存研究が環境変動・occlusions・noise に弱いことを体系的に示す - 単なるベンチマークに留まらず、SAMPL により SOTA を上回るロバスト性を達成 - ロバスト HOI detection の新たな標準を提示

3. 技術・手法の肝は？

- RoHOI は HICO-DET と V-COCO に基づく 20 種類の corruption を用意 - ロバスト性重視の新規評価指標を設計 - SAMPL (Semantic-Aware Masking-based Progressive Learning) を提案 - holistic と partial の cue に基づきモデルを最適化 - 動的に最適化を調整し、ロバストな特徴学習を促進 - 詳細な実装は要旨からは不明

4. どうやって有効だと検証した？

- RoHOI 上で既存 HOI モデルを体系的に分析し、corruption 下の性能低下を確認 - SAMPL の extensive experiments を実施 - SAMPL が state-of-the-art 手法を上回ることを示す - ロバスト HOI detection の新標準を確立すると主張 - 具体的なデータセット別数値は要旨からは不明

5. 議論はある？

- corruption 下で現行モデルが大きく性能低下する点を議論 - 環境変動・occlusions・noise への対処が課題として残る - SAMPL の有効性は示されるが、限界や失敗ケースは要旨からは不明 - ベンチマークの網羅性や実環境への一般化は要旨からは不明

6. 次に読むべき論文は？

- HICO-DET および V-COCO に関する HOI detection の代表的研究 - HOI detection の SOTA 手法（比較対象として言及） - corruption robustness に関する一般的なベンチマーク研究 - Semantic-Aware Masking や Progressive Learning に関連する手法 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Di Wen, Kunyu Peng, Kailun Yang, Yufan Chen, Ruiping Liu, Junwei Zheng, Alina Roitberg, Danda Pani Paudel, Luc Van Gool, Rainer Stiefelhagen

分類: cs.CV, cs.HC, cs.RO, eess.IV

原文アブストラクト

Human-Object Interaction (HOI) detection is crucial for robot-human assistance, enabling context-aware support. However, models trained on clean datasets degrade in real-world conditions due to unforeseen corruptions, leading to inaccurate predictions. To address this, we introduce the first robustness benchmark for HOI detection, evaluating model resilience under diverse challenges. Despite advances, current models struggle with environmental variability, occlusions, and noise. Our benchmark, RoHOI, includes 20 corruption types based on the HICO-DET and V-COCO datasets and a new robustness-focused metric. We systematically analyze existing models in the HOI field, revealing significant performance drops under corruptions. To improve robustness, we propose a Semantic-Aware Masking-based Progressive Learning (SAMPL) strategy to guide the model to be optimized based on holistic and partial cues, thus dynamically adjusting the model's optimization to enhance robust feature learning. Extensive experiments show that our approach outperforms state-of-the-art methods, setting a new standard for robust HOI detection. Benchmarks, datasets, and code are available at https://github.com/KratosWen/RoHOI.

arXivで原文を読む →arXiv概要ページ

← 論文一覧