HARP-Bench：人間が活動する環境でのロボットマニピュレーション評価ベンチマーク

- HARP-Bench は、人間が能動的に作業空間を共有する状況での robot manipulation policy を評価する benchmark。 - 人間の活動を背景変動ではなく manipulation 問題の一部として扱う。 - 人間存在下の manipulation を Cueing, Contribution, Interruption, Co-presence の4条件に整理。 - 日常的な manipulation タスクで、人間存在下の変種と標準設定を対比可能に構成。 - 動的な人間存在下設定向けの demonstration 生成 pipeline も提供。

- 既存 benchmark は多様な物体・scene・instruction・embodiment を扱うが、robot を唯一の能動 agent と仮定。 - タスク意味が instruction と物体状態で主に決まるとする前提を置いていた。 - HARP-Bench は人間が暗黙の goal を示す、タスクの一部を完了する、物体の可用性を変える、安全な運動を制約する状況を評価対象に含める。 - 人間の活動を背景 scene 変動ではなく manipulation 問題の構成要素として扱う点が差分。 - 人間存在下の変種を標準 manipulation と対比できるよう paired で用意する点も特徴。

- 人間存在下の manipulation を Cueing, Contribution, Interruption, Co-presence の4条件に分類。 - 各条件を日常的 manipulation タスクに実装し、人間存在下変種を標準設定と対比可能に構成。 - 動的な人間存在下設定のための demonstration 生成 pipeline を提供。 - VLA models、imitation-learning 手法、heuristic policies を評価対象として比較。 - 定量的な failure 分析により manipulation と recovery を主要な残課題として特定。

- HARP-Bench 上で VLA models、imitation-learning 手法、heuristic policies を評価。 - 人間存在下の変種が現行 policy を難しくすること、高いタスク成功率が安全改善と一貫して結びつかないことを示す。 - 定量的 failure 分析で manipulation と recovery が主要課題と判明。 - HARP-Bench demonstrations での training が simulation 上の人間存在下性能を改善。 - 1つのタスク family の real-world study では human contribution 下で性能改善、interruption 下では改善せず、data の有用性と転移の限界を初期証拠として提示。

- 人間存在下の変種が現行 policy に課題を与え、タスク成功率と安全性が一貫して連動しない点を議論。 - failure 分析から manipulation と recovery が残る主要課題と指摘。 - simulation では HARP-Bench demonstrations による training が人間存在下性能を改善。 - real-world では human contribution では改善するが interruption では改善せず、転移の限界を示す。 - 人間活動を manipulation 問題の一部として扱う評価設計の必要性を示唆。

- 要旨で参照・比較されている具体的な先行研究名は不明。 - 関連手法として VLA models、imitation-learning 手法、heuristic policies が評価対象として挙げられている。 - 人間と共有する作業空間での安全な robot manipulation を扱う研究。 - human-robot collaboration における interruption や recovery を扱う研究。 - 動的な人間存在下設定の demonstration 生成に関する研究。