日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

人間ロボットインタラクションarXiv:2512.18474

ロボットが「ノー」と言うとき:共感倫理的不服従ベンチマーク

When Robots Say No: The Empathic Ethical Disobedience Benchmark

シェア:XThreadsFacebookLINEはてブBluesky

ロボットが安全と社会的期待のバランスを取るための標準テストベッド「EED Gym」を提案し、拒否の安全性と社会的受容性を評価する。

詳しい要約

1. どんなもの?

- ロボットが指示への服従と安全性・社会的期待のバランスを取る「拒否」の意思決定を評価する標準ベンチマーク - Empathic Ethical Disobedience (EED) Gym と呼ぶテストベッドを提案 - エージェントは comply / refuse(説明あり・なし)/ clarify / より安全な代替案の提案 を選択 - リスク・affect・trust を考慮して判断する設定 - 複数シナリオ、複数の persona profiles、安全性・calibration・refusal の指標を提供 - trust と blame のモデルは vignette study に基づく - コード・設定・参照ポリシーを公開予定

2. 先行研究と比べてどこがすごい?

- 既存の safe reinforcement learning (RL) ベンチマークは物理的危険に重点 - human-robot interaction の trust 研究は小規模で再現が難しい - EED Gym は拒否の安全性と社会的受容性を同時に評価する標準化テストベッド - 複数 persona profiles や trust・blame モデルを備え、再現可能な評価を可能にする点が新しい - 拒否の説明の有無や代替案提案まで選択肢として扱う点が先行研究と異なる

3. 技術・手法の肝は?

- エージェントがリスク・affect・trust を重み付けして行動を選択する枠組み - 行動空間は comply、refuse(説明あり/なし)、clarify、safer alternatives の提案 - 複数シナリオと persona profiles を用意し、安全性・calibration・refusal を指標化 - trust と blame のモデルを vignette study に基づいて構築 - action masking により unsafe compliance を排除できる仕組み - safe RL 手法を適用可能な Gym 形式の環境として提供

4. どうやって有効だと検証した?

- EED Gym を用いた実験で action masking が unsafe compliance を排除することを確認 - explanatory refusals が trust の維持に寄与することを示す - constructive styles が最も trustworthy と評価され、empathic styles が最も empathic と評価される - safe RL 手法が robustness を改善する一方、過度に慎重な行動が増えることを確認 - 評価は trust・blame モデルに基づく指標で行われ、vignette study が基盤 - 具体的な被験者数や統計手法は要旨からは不明

5. 議論はある?

- 盲目的な服従は危害を生み、過剰な拒否は trust を損なうというトレードオフが中心 - action masking は安全性を高めるが、柔軟性への影響は要旨からは不明 - safe RL は robustness を改善するが過度に慎重になる傾向があり、calibration の重要性を示唆 - 説明付き拒否や建設的な代替案が trust 維持に有効という知見 - persona profiles の違いが評価に与える影響の詳細は要旨からは不明 - 実世界のロボットへの一般化や vignette study の妥当性は要旨からは不明

6. 次に読むべき論文は?

- safe reinforcement learning (RL) のベンチマーク研究(物理的危険に焦点を当てた既存手法) - human-robot interaction における trust 研究(小規模で再現性が課題とされた研究) - refusal や explanation に関する human-robot interaction 研究 - action masking を用いた安全強化学習 - calibration や over-refusal を扱う信頼性研究 - vignette study に基づく trust・blame モデリング

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dmytro Kuzmenko, Nadiya Shvai

分類: cs.RO, cs.HC

原文アブストラクト

Robots must balance compliance with safety and social expectations as blind obedience can cause harm, while over-refusal erodes trust. Existing safe reinforcement learning (RL) benchmarks emphasize physical hazards, while human-robot interaction trust studies are small-scale and hard to reproduce. We present the Empathic Ethical Disobedience (EED) Gym, a standardized testbed that jointly evaluates refusal safety and social acceptability. Agents weigh risk, affect, and trust when choosing to comply, refuse (with or without explanation), clarify, or propose safer alternatives. EED Gym provides different scenarios, multiple persona profiles, and metrics for safety, calibration, and refusals, with trust and blame models grounded in a vignette study. Using EED Gym, we find that action masking eliminates unsafe compliance, while explanatory refusals help sustain trust. Constructive styles are rated most trustworthy, empathic styles -- most empathic, and safe RL methods improve robustness but also make agents more prone to overly cautious behavior. We release code, configurations, and reference policies to enable reproducible evaluation and systematic human-robot interaction research on refusal and trust. At submission time, we include an anonymized reproducibility package with code and configs, and we commit to open-sourcing the full repository after the paper is accepted.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI