日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全性arXiv:2606.18632

ロボシャックルズ:身体化基盤モデルにおける人体傷害防止のための安全性データセット

ROBOSHACKLES: A Safety Dataset for Human-Injury Prevention in Embodied Foundation Models

シェア:XThreadsFacebookLINEはてブBluesky

実世界のロボット観察データから危険シナリオを合成し、人体傷害防止のための安全性評価・訓練用データセットを構築した。

詳しい要約

1. どんなもの?

- Embodied Foundation Models (EFMs) の human-injury prevention 向け安全性データセット ROBOSHACKLES を提案。 - 実世界の DROID observations を起点に、危険な家庭内状況を含む 10,000 clip のロボット動画データセットを構築。 - 2 つの direct-harm と 4 つの indirect-harm カテゴリを網羅。 - refusal learning と hazard anticipation のための scalable benchmark / training resource として位置づけ。 - データセットは Hugging Face で公開。

2. 先行研究と比べてどこがすごい?

- ロボットが人間を傷つける、または危険な家庭内状況を生む実世界データは安全・倫理的に収集困難。 - そのため EFMs の human-injury prevention 向け safety alignment は未探索だった。 - 本研究は実 DROID observations から安全-critical データを構築する pipeline を提案し、この空白を埋める。 - 従来の実データ収集に依存せず、合成 rollout で危険シナリオをスケーラブルに生成できる点が新しい。

3. 技術・手法の肝は?

- 安全-critical データ構築 pipeline を提案。 - 構成: scene understanding → hazard-aware image editing → temporal prompt generation → single-pass rollout synthesis。 - temporal prompts が期待される scene evolution を指定。 - Wan2.7 が編集済み hazardous states から現実的な robotic rollouts を single pass で合成。 - これにより実 DROID observations 由来の 10,000 clip 動画データセットを構築。

4. どうやって有効だと検証した?

- データセット品質を担保するため、task completion と visual quality を automatic metrics で評価。 - 6 つの代表的な EFMs を refusal-based safety criterion の下で評価。 - 結果、評価した全モデルがテストした safety-critical scenarios で unsafe actions を生成し、unsafe action generation rate は 100%。 - これにより ROBOSHACKLES が benchmark として機能することを示す。

5. 議論はある?

- 評価した全 EFMs が unsafe actions を生成し、unsafe action generation rate が 100% であった点を報告。 - ROBOSHACKLES は refusal learning と hazard anticipation のための scalable benchmark / training resource として提示。 - 実世界での有害データ収集の倫理的困難を合成データで回避するアプローチの議論を含む。 - 具体的な限界や今後の課題は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は DROID observations と Wan2.7 のみ。 - 関連手法として Embodied Foundation Models (EFMs) の safety alignment、refusal learning、hazard anticipation が挙げられる。 - 同分野の定番として robot safety、human-robot interaction、safety-critical scenario generation に関する研究を次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhuowen Yin, Chongyang Liu, Wenzhang Yang, Renjue Li, Yinxing Xue

分類: cs.RO

原文アブストラクト

Embodied Foundation Models (EFMs) integrate multimodal understanding, future-state reasoning, and executable robot actions. Yet their safety alignment for human-injury prevention remains underexplored, primarily because real-world data of robots harming humans or creating hazardous household situations cannot be safely or ethically collected. To address this challenge, we propose a safety-critical data construction pipeline for human-injury prevention in EFMs.Starting from real DROID observations, our construction pipeline proceeds through scene understanding, hazard-aware image editing, temporal prompt generation, and single-pass rollout synthesis. The temporal prompts specify the expected scene evolution, while Wan2.7 synthesizes realistic robotic rollouts from the edited hazardous states in a single pass. Using this pipeline, we construct ROBOSHACKLES, a 10,000-clip robotic video dataset derived from real DROID observations, spanning two direct-harm and four indirect-harm categories. To ensure dataset quality, we assess task completion and visual quality with automatic metrics, and evaluate six representative EFMs under a refusal-based safety criterion. Results show that all evaluated models produce unsafe actions in the tested safety-critical scenarios, yielding a 100% unsafe action generation rate. ROBOSHACKLES serves as a scalable benchmark and training resource for refusal learning and hazard anticipation before robot action execution.The dataset is publicly available at https://huggingface.co/datasets/YZW00/RoboShackles.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI