操作/安全性評価2026/5/1arXiv:2605.12386

SafeManip: ロボット操作における時間的安全評価のためのプロパティ駆動型ベンチマーク

SafeManip: A Property-Driven Benchmark for Temporal Safety Evaluation in Robotic Manipulation

ロボット操作の安全性を時間的性質（例：汚染後の接触、完全な格納前の解放）に焦点を当てて評価するベンチマークを提案し、LTLfを用いて安全性を検証する。

詳しい要約

1. どんなもの？

- ロボットマニピュレーションの安全性を時間的性質として評価するベンチマーク SafeManip を提案。 - タスク成功率ではなく、汚染後の清浄面接触や収納前の物体解放など時間依存の安全違反を対象。 - LTLf（Linear Temporal Logic over finite traces）で再利用可能な安全テンプレートを定義。 - 8カテゴリ（collision and contact safety, grasp stability, release stability, cross-contamination, action onset, mechanism recovery, object containment, enclosure access）を網羅。 - タスク固有の物体・設備・領域・スキルでテンプレートをインスタンス化し、タスクや環境をまたいで一般化可能。

2. 先行研究と比べてどこがすごい？

- 従来評価はタスク完了や各状態での制約違反に主眼。 - SafeManip は有限実行上の時間的安全性質を明示的に評価する点で異なる。 - 観測ロールアウトを記号述語トレースに変換し、LTLf モニタで評価する枠組みを提供。 - タスク成功率の向上が安全な実行に必ずしも結びつかないことを示す。 - 長いホライズンや複雑なタスクで違反が増える傾向を明らかにする。

3. 技術・手法の肝は？

- 有限トレース上の LTLf を用いて再利用可能な安全テンプレートを定義。 - 観測ロールアウトを記号述語トレースにマッピング。 - LTLf ベースのモニタでトレースを評価し、時間的安全違反を検出。 - テンプレートはタスク固有の物体・設備・領域・スキルでインスタンス化可能。 - 8つの安全カテゴリをカバーするプロパティスイートを構成。

4. どうやって有効だと検証した？

- 6つの vision-language-action ポリシー（π0, π0.5, GR00T およびその訓練変種）を評価。 - 50の RoboCasa365 家庭内タスクで検証。 - 強いモデルでも不安全な行動が多いことを確認。 - タスク成功ロールアウトの多くが依然として不安全であることを示す。 - 長いホライズンや複雑なタスクで違反が増えることを報告。

5. 議論はある？

- タスク成功率の向上が安全な実行に信頼できる形で結びつかないことを議論。 - 成功したロールアウトでも安全違反が残ることを指摘。 - 長いホライズンや複雑なタスクで違反が顕在化することを議論。 - 時間的安全失敗を診断し、タスク完了を超えた安全成功を測定する再利用可能な評価層を提供。 - 具体的な限界や今後の課題は要旨からは不明。

6. 次に読むべき論文は？

- π0, π0.5, GR00T およびその訓練変種（vision-language-action ポリシー）。 - RoboCasa365（家庭内タスクのベンチマーク）。 - LTLf（Linear Temporal Logic over finite traces）関連研究。 - タスク完了ベースのロボットマニピュレーション評価に関する先行研究。 - 安全制約違反を扱う従来の評価手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chengyue Huang, Khang Vo Huynh, Sebastian Elbaum, Zsolt Kira, Lu Feng

分類: cs.RO

原文アブストラクト

Robotic manipulation is typically evaluated by task success, but successful completion does not guarantee safe execution. Many safety failures are temporal: a robot may touch a clean surface after contamination or release an object before it is fully inside an enclosure. We introduce SafeManip, a property-driven benchmark to explicitly evaluate temporal safety properties in robotic manipulation, moving beyond prior evaluations that largely focus on task completion or per-state constraint violations. SafeManip defines reusable safety templates over finite executions using Linear Temporal Logic over finite traces (LTLf). It maps observed rollouts to symbolic predicate traces and evaluates them with LTLf-based monitors. Its property suite covers eight manipulation safety categories: collision and contact safety, grasp stability, release stability, cross-contamination, action onset, mechanism recovery, object containment, and enclosure access. Templates can be instantiated with task-specific objects, fixtures, regions, or skills, allowing the same safety specifications to generalize across tasks and environments. We evaluate SafeManip on six vision-language-action policies, including $\pi_0$, $\pi_{0.5}$, GR00T, and their training variants, across 50 RoboCasa365 household tasks. Results show that even strong models often behave unsafely. Task-success gains do not reliably translate into safer execution: many successful rollouts remain unsafe, while longer-horizon or more complex tasks expose more violations. SafeManip provides a reusable evaluation layer for diagnosing temporal safety failures and measuring safe success beyond task completion.

arXivで原文を読む →arXiv概要ページ

← 論文一覧