ユーザーの自律性を支えるマルチモーダル融合:ソーシャルロボットによる支援要否検出
Supporting User Autonomy with Multimodal Fusion to Detect when a User Needs Assistance from a Social Robot
視線・課題・確認視線・言語の4つの高精度低再現率モデルをスライディングウィンドウとランダムフォレストで後期融合し、ユーザーが支援を必要とするタイミングをより高精度に検出する手法を提案した。
著者: Alex Reneau, Jason R. Wilson
分類: cs.HC, cs.RO
原文アブストラクト
It is crucial for any assistive robot to prioritize the autonomy of the user. For a robot working in a task setting to effectively maintain a user's autonomy it must provide timely assistance and make accurate decisions. We use four independent high-precision, low-recall models, a mutual gaze model, task model, confirmatory gaze model, and a lexical model, that predict a user's need for assistance. Improving upon our four independent models, we used a sliding window method and a random forest classification algorithm to capture temporal dependencies and fuse the independent models with a late fusion approach. The late fusion approach strongly outperforms all four of the independent models providing a more wholesome approach with greater accuracy to better assist the user while maintaining their autonomy. These results can provide insight into the potential of including additional modalities and utilizing assistive robots in more task settings.
関連論文
- MatchFusion: 時空間マルチモーダル自動運転のための明示的・暗黙的インスタンスマッチングマルチモーダル融合
- LiDAR-BIND-T: ロボティクス応用に向けた時間的一貫性を考慮したセンサモダリティ変換と融合の改良マルチモーダル融合
- t-READi: 自動運転向けTransformer駆動の堅牢で効率的なマルチモーダル推論マルチモーダル融合
- スコアに合わせて演じる:ロボットマニピュレーションのための段階誘導型動的マルチセンサ融合マルチモーダル融合
- 潜在コンタクトを活用したカメラ-LiDAR融合による難条件下の場所認識マルチモーダル融合
- 遮蔽や情報欠損に対応するマルチビュー視覚融合のためのアンサンブル学習:実世界データによる評価と運転者手活動認識への応用マルチモーダル融合
