日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

群制御arXiv:2603.18344

HRI-SA: 遠隔ヒューマン・ロボットチームにおける人間の状況認識のオンライン評価のためのマルチモーダルデータセット

HRI-SA: A Multimodal Dataset for Online Assessment of Human Situational Awareness during Remote Human-Robot Teaming

シェア:XThreadsFacebookLINEはてブBluesky

遠隔の人間とロボットのチーム作業中に、オペレータの状況認識の欠落を自動検出するためのマルチモーダルデータセットを構築し、視線や生体信号などを用いた機械学習モデルで認識遅延を分類できることを示した。

詳しい要約

1. どんなもの?

- 遠隔Human-Robot Teamingにおける人間のSituational Awareness (SA)をオンライン評価するためのマルチモーダルデータセットHRI-SAを提案。 - 30名の参加者がsearch-and-rescueの現実的なチームミッションに従事。 - 視線運動、瞳孔径、生体信号、ユーザインタラクション、ロボットデータを収録。 - 事前定義イベントでオペレータの支援必要性を発生させ、支援必要開始から解決までの時間でperceptualとcomprehensionのSA latencyをground truthとして取得。

2. 先行研究と比べてどこがすごい?

- 従来のSA測定はタスクフローを妨害したり、リアルタイム変動を捉えられないため運用上の有用性が限定的。 - 人間とロボットのチームにおけるオンラインSA評価を体系的に評価できる公開データセットは、著者らの知る限り存在しない。 - 本論文は、Human-Robot Teamingミッション全体を通したSAの体系的評価を可能にする最初の公開データセットを提供。

3. 技術・手法の肝は?

- 現実的なsearch-and-rescueのHuman-Robot Teamingコンテキストで30名からマルチモーダルデータを収集。 - 視線運動、瞳孔径、生体信号、ユーザインタラクション、ロボットデータを同期。 - 事前定義イベントにより支援必要性を発生させ、支援必要開始から解決までの時間を測定してperceptualとcomprehensionのSA latencyをground truth化。 - 汎用のeye-tracking特徴と文脈特徴を用いて標準的な機械学習モデルでperceptual SA latencyを検出。

4. どうやって有効だと検証した?

- 標準的な機械学習モデルを評価し、perceptual SA latencyの検出性能を検証。 - leave-one-group-out cross-validationを採用。 - eye-tracking特徴のみでrecall=88.91%、F1=67.63%を達成。 - 文脈データの融合によりrecall=91.51%、F1=80.38%に改善。

5. 議論はある?

- 汎用のeye-tracking特徴が遠隔Human-Robot Teamingにおける継続的なperceptual SA latency検出に有効である可能性を示す。 - 文脈データの融合が性能を向上させることを示す。 - ただし、comprehension SA latencyの検出や他のSAギャップへの一般化については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の関連手法として、Situational Awareness (SA) assessment、eye-tracking、multimodal data fusion、Human-Robot Teaming、search-and-rescue roboticsが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hashini Senaratne, Richard Attfield, Samith Widhanapathirana, David Howard, Cecile Paris, Dana Kulic, Leimin Tian

分類: cs.RO, cs.HC, cs.LG, cs.MA

原文アブストラクト

Maintaining situational awareness (SA) is critical in human-robot teams. Yet, under high workload and dynamic conditions, operators often experience SA gaps. Automated detection of SA gaps could provide timely assistance for operators. However, conventional SA measures either disrupt task flow or cannot capture real-time fluctuations, limiting their operational utility. To the best of our knowledge, no publicly available dataset currently supports the systematic evaluation of online human SA assessment in human-robot teaming. To advance the development of online SA assessment tools, we introduce HRI-SA, a multimodal dataset from 30 participants in a realistic search-and-rescue human-robot teaming context, incorporating eye movements, pupil diameter, biosignals, user interactions, and robot data. The experimental protocol included predefined events requiring timely operator assistance, with ground truth SA latency of two types (perceptual and comprehension) systematically obtained by measuring the time between assistance need onset and resolution. We illustrate the utility of this dataset by evaluating standard machine learning models for detecting perceptual SA latencies using generic eye-tracking features and contextual features. Results show that eye-tracking features alone effectively classified perceptual SA latency (recall=88.91%, F1=67.63%) using leave-one-group-out cross-validation, with performance improved through contextual data fusion (recall=91.51%, F1=80.38%). This paper contributes the first public dataset supporting the systematic evaluation of SA throughout a human-robot teaming mission, while also demonstrating the potential of generic eye-tracking features for continuous perceptual SA latency detection in remote human-robot teaming.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI