日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチモーダル融合arXiv:2012.04078

ユーザーの自律性を支えるマルチモーダル融合:ソーシャルロボットによる支援要否検出

Supporting User Autonomy with Multimodal Fusion to Detect when a User Needs Assistance from a Social Robot

シェア:XThreadsFacebookLINEはてブBluesky

視線・課題・確認視線・言語の4つの高精度低再現率モデルをスライディングウィンドウとランダムフォレストで後期融合し、ユーザーが支援を必要とするタイミングをより高精度に検出する手法を提案した。

著者: Alex Reneau, Jason R. Wilson

分類: cs.HC, cs.RO

原文アブストラクト

It is crucial for any assistive robot to prioritize the autonomy of the user. For a robot working in a task setting to effectively maintain a user's autonomy it must provide timely assistance and make accurate decisions. We use four independent high-precision, low-recall models, a mutual gaze model, task model, confirmatory gaze model, and a lexical model, that predict a user's need for assistance. Improving upon our four independent models, we used a sliding window method and a random forest classification algorithm to capture temporal dependencies and fuse the independent models with a late fusion approach. The late fusion approach strongly outperforms all four of the independent models providing a more wholesome approach with greater accuracy to better assist the user while maintaining their autonomy. These results can provide insight into the potential of including additional modalities and utilizing assistive robots in more task settings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI