RGB映像からの姿勢・感情手がかりを用いた実時間人間-ロボット相互作用意図検出とカメラ間モデル汎化
Real-Time Human-Robot Interaction Intent Detection Using RGB-based Pose and Emotion Cues with Cross-Camera Model Generalization
単眼RGB映像から抽出した2D骨格姿勢と表情特徴を融合し、Raspberry Pi 5上で動作する実時間の人間-ロボット相互作用意図検出フレームワークを提案。MINT-RVAEによるデータ再均衡化と、異なるカメラ・環境下での高い汎化性能を実証した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Farida Mohsen, Ali Safa
分類: cs.RO, cs.AI
原文アブストラクト
Service robots in public spaces require real-time understanding of human behavioral intentions for natural interaction. We present a practical multimodal framework for frame-accurate human-robot interaction intent detection that fuses camera-invariant 2D skeletal pose and facial emotion features extracted from monocular RGB video. Unlike prior methods requiring RGB-D sensors or GPU acceleration, our approach resource-constrained embedded hardware (Raspberry Pi 5, CPU-only). To address the severe class imbalance in natural human-robot interaction datasets, we introduce a novel approach to synthesize temporally coherent pose-emotion-label sequences for data re-balancing called MINT-RVAE (Multimodal Recurrent Variational Autoencoder for Intent Sequence Generation). Comprehensive offline evaluations under cross-subject and cross-scene protocols demonstrate strong generalization performance, achieving frame- and sequence-level AUROC of 0.95. Crucially, we validate real-world generalization through cross-camera evaluation on the MIRA robot head, which employs a different onboard RGB sensor and operates in uncontrolled environments not represented in the training data. Despite this domain shift, the deployed system achieves 91% accuracy and 100% recall across 32 live interaction trials. The close correspondence between offline and deployed performance confirms the cross-sensor and cross-environment robustness of the proposed multimodal approach, highlighting its suitability for ubiquitous multimedia-enabled social robots.
関連論文
- 固定参照ポーズ残差による人間-ロボット相互作用予測のデータセット間手がかり転移の測定人間-ロボット相互作用
- 予測符号化に基づく人間-ロボット相互作用における内部生成処理と外部結合処理の自律的調整人間-ロボット相互作用
- 車椅子とロボットアームの統合制御のための対話ベース人間-ロボット相互作用プロトコル人間-ロボット相互作用
- MIHRaGe: 視線制御による人間-ロボット相互作用のための複合現実インターフェース人間-ロボット相互作用
- 人間と人工エージェントの相互作用における明示的・暗黙的コミュニケーションの混合効果に関する研究人間-ロボット相互作用
- 人間-ロボット相互作用のためのマルチモーダル潜在ダイナミクス学習人間-ロボット相互作用
