階層的に接続された木構造による人間-ロボットインタラクションのためのマルチビューアクティブセンシング
Multi-View Active Sensing for Human-Robot Interaction via Hierarchically Connected Tree
複数カメラでRGB-Dデータを動的に取得し、階層的木構造で局所視覚情報を融合することで、遮蔽に強く高精度な人間認識を実現し、ロボットアームの障害物回避を改善した。
著者: Yuanjiong Ying, Xian Huang, Wei Dong
分類: cs.RO
原文アブストラクト
Comprehensive perception of human beings is the prerequisite to ensure the safety of human-robot interaction. Currently, prevailing visual sensing approach typically involves a single static camera, resulting in a restricted and occluded field of view. In our work, we develop an active vision system using multiple cameras to dynamically capture multi-source RGB-D data. An integrated human sensing strategy based on a hierarchically connected tree structure is proposed to fuse localized visual information. Constituting the tree model are the nodes representing keypoints and the edges representing keyparts, which are consistently interconnected to preserve the structural constraints during multi-source fusion. Utilizing RGB-D data and HRNet, the 3D positions of keypoints are analytically estimated, and their presence is inferred through a sliding widow of confidence scores. Subsequently, the point clouds of reliable keyparts are extracted by drawing occlusion-resistant masks, enabling fine registration between data clouds and cylindrical model following the hierarchical order. Experimental results demonstrate that our method enhances keypart recognition recall from 69.20% to 90.10%, compared to employing a single static camera. Furthermore, in overcoming challenges related to localized and occluded perception, the robotic arm's obstacle avoidance capabilities are effectively improved.
関連論文
- 他者への配慮を考慮した空間的人間-エージェントインタラクションモデル人間-ロボットインタラクション
- 視覚言語モデルを社会的知能の代理として活用する人間-ロボットインタラクション人間-ロボットインタラクション
- 説明可能な人間-ロボットインタラクションのための心の理論人間-ロボットインタラクション
- ロボットが「ノー」と言うとき:説明による信頼の時間的回復人間-ロボットインタラクション
- 産業メタバースにおけるリアルタイム人間-ロボットインタラクションのためのタスク指向エッジ支援クロスシステム設計人間-ロボットインタラクション
- 操作者の模倣による自律的な人間-ロボットインタラクション人間-ロボットインタラクション
