日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチモーダル行動予測arXiv:2501.13416

M3PT: 人物認識ブロックワイズ注意機構を備えたマルチモーダル多人数ソーシャルシグナル予測トランスフォーマ

M3PT: A Transformer for Multimodal, Multi-Party Social Signal Prediction with Person-aware Blockwise Attention

シェア:XThreadsFacebookLINEはてブBluesky

多人数会話における身体姿勢・頭部姿勢・発話・食事行動などのマルチモーダルなソーシャルシグナルを、モダリティと時間のブロックワイズ注意マスクを持つ因果トランスフォーマで同時に予測する単一モデルM3PTを提案した。

著者: Yiming Tang, Abrar Anwar, Jesse Thomason

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Understanding social signals in multi-party conversations is important for human-robot interaction and artificial social intelligence. Social signals include body pose, head pose, speech, and context-specific activities like acquiring and taking bites of food when dining. Past work in multi-party interaction tends to build task-specific models for predicting social signals. In this work, we address the challenge of predicting multimodal social signals in multi-party settings in a single model. We introduce M3PT, a causal transformer architecture with modality and temporal blockwise attention masking to simultaneously process multiple social cues across multiple participants and their temporal interactions. We train and evaluate M3PT on the Human-Human Commensality Dataset (HHCD), and demonstrate that using multiple modalities improves bite timing and speaking status prediction. Source code: https://github.com/AbrarAnwar/masked-social-signals/.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI