日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

HRIarXiv:2603.05641

RFM-HRI:医療ロボットの失敗・ユーザー反応・回復選好を記録したマルチモーダルデータセット(物品取り出しタスク向け)

RFM-HRI : A Multimodal Dataset of Medical Robot Failure, User Reaction and Recovery Preferences for Item Retrieval Tasks

シェア:XThreadsFacebookLINEはてブBluesky

医療現場の物品取り出しタスクでロボットに意図的に失敗を起こし、ユーザーの言語・非言語反応と回復選好を収録したマルチモーダルデータセットを構築・分析した論文。

詳しい要約

1. どんなもの?

- 医療HRI向けのマルチモーダルデータセットRFM-HRIを提示。 - crash cartにembodiedされたロボットとのitem retrievalタスクで、communication failuresを系統的に誘発。 - Wizard-of-Ozで41名、labとhospitalの2環境。 - 4種類のfailure(speech, timing, comprehension, search)を対象。 - 214 interaction samplesにfacial action units, head pose, speech transcripts, self-reportsを含む。

2. 先行研究と比べてどこがすごい?

- 実環境ロボットのinteraction failuresに対するユーザのverbal/non-verbal反応はHRIで未探索。 - 特にhealthcare-inspired設定でのfailure影響は未解明。 - 本研究はfailureを系統的に誘発し、multimodalで記録する点が新しい。 - 3年間のcrash-cart robot interaction dataに基づくfailure taxonomyを採用。 - 公開データセットとfailure type別・recovery strategy別の分析を提供。

3. 技術・手法の肝は?

- Wizard-of-Oz studiesで41 participantsを対象。 - crash cartにembodiedされたrobotとのdyadic interactionを実施。 - item retrievalタスク中に4 failure types(speech, timing, comprehension, search)を誘発。 - facial action units, head pose, speech transcripts, post-interaction self-reportsを収録。 - 214 interaction samplesをlabとhospitalで取得。

4. どうやって有効だと検証した?

- 失敗は成功interactionと比べaffective valenceを有意に低下させ、perceived controlを減少。 - 失敗はconfusion, annoyance, frustrationと強く関連。 - 成功はsurprise, relief, confidence in task completionで特徴づけ。 - 反復失敗で感情反応が変化し、confusionは減少、frustrationは増加。 - これらの分析によりデータセットの有効性を検証。

5. 議論はある?

- 失敗が感情価と統制感に与える影響を議論。 - 失敗タイプ別のユーザ反応と好まれるrecovery strategiesを分析。 - 反復失敗による感情の時間変化を指摘。 - safety-critical failure recoveryへの含意を議論。 - 限界や一般化可能性は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番としてHRIにおけるfailure detection and recovery、Wizard-of-Oz、multimodal affect recognition、crash cart robot、healthcare roboticsの関連論文を読むべき。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yashika Batra, Giuliano Pioldi, Promise Ekpo, Arman Sayatqyzy, Purnjay Maruur, Shalom Otieno, Kevin Ching, Angelique Taylor

分類: cs.RO, cs.HC

原文アブストラクト

While robots deployed in real-world environments inevitably experience interaction failures, understanding how users respond through verbal and non-verbal behaviors remains under-explored in human-robot interaction (HRI). This gap is particularly significant in healthcare-inspired settings, where interaction failures can directly affect task performance and user trust. We present the Robot Failures in Medical HRI (RFM-HRI) Dataset, a multimodal dataset capturing dyadic interactions between humans and robots embodied in crash carts, where communication failures are systematically induced during item retrieval tasks. Through Wizard-of-Oz studies with 41 participants across laboratory and hospital settings, we recorded responses to four failure types (speech, timing, comprehension, and search) derived from three years of crash-cart robot interaction data. The dataset contains 214 interaction samples including facial action units, head pose, speech transcripts, and post-interaction self-reports. Our analysis shows that failures significantly degrade affective valence and reduce perceived control compared to successful interactions. Failures are strongly associated with confusion, annoyance, and frustration, while successful interactions are characterized by surprise, relief, and confidence in task completion. Emotional responses also evolve across repeated failures, with confusion decreasing and frustration increasing over time. This work contributes (1) a publicly available multimodal dataset (RFM-HRI), (2) analysis of user responses to different failure types and preferred recovery strategies, and (3) a crash-cart retrieval scenario enabling systematic comparison of recovery strategies with implications for safety-critical failure recovery. Our findings provide a foundation for failure detection and recovery methods in embodied HRI.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI