日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

対話生成arXiv:2604.08125

PolySLGen: 多人数対話におけるオンライン多感覚発話・傾聴反応生成

PolySLGen: Online Multimodal Speaking-Listening Reaction Generation in Polyadic Interaction

シェア:XThreadsFacebookLINEはてブBluesky

多人数対話での自然な反応生成のため、過去の会話と動作から対象者の発話または傾聴反応(音声・身体動作・発話状態スコア)をオンライン生成するフレームワークを提案した。

詳しい要約

1. どんなもの?

- 多人数会話(polyadic interaction)における、オンラインでのマルチモーダル反応生成フレームワーク。 - 対象参加者に対し、発話(speaking)または聴取(listening)の将来反応を生成。 - 生成内容は speech、body motion、speaking state score を含む。 - 入力は全参加者の過去の会話と motion。 - 人間と embodied AI の自然なグループインタラクションを目指す。

2. 先行研究と比べてどこがすごい?

- 既存手法は単一モダリティまたは dyadic interaction の speaking-only 反応に限定。 - 現実の社会的場面に不適で、nonverbal cues や polyadic の複雑な動態を無視。 - PolySLGen は polyadic かつ speaking/listening 両方のマルチモーダル反応をオンライン生成。 - 複数の adapted/state-of-the-art baseline を motion quality、motion-speech alignment、speaking state prediction、human-perceived realism で上回る。

3. 技術・手法の肝は?

- pose fusion module と social cue encoder を提案。 - 両者がグループからの motion と social signals を jointly に集約。 - 過去の会話と全参加者の motion を入力とし、対象参加者の将来反応を生成。 - 出力は speech、body motion、speaking state score。 - オンラインで動作するフレームワーク。

4. どうやって有効だと検証した?

- 広範な実験を実施。 - 定量的・定性的評価を実施。 - motion quality、motion-speech alignment、speaking state prediction、human-perceived realism で評価。 - 複数の adapted および state-of-the-art baseline と比較し、PolySLGen が上回ることを示す。 - 文脈に適切で時間的に一貫したマルチモーダル反応を生成。

5. 議論はある?

- 既存手法の限界として単一モダリティ、speaking-only、dyadic 限定を指摘。 - nonverbal cues と polyadic の複雑な動態の重要性を議論。 - これらが engagement と conversational coherence に重要と述べる。 - 具体的な限界や今後の課題についての詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている adapted および state-of-the-art baselines の具体名は要旨からは不明。 - 関連手法として dyadic interaction の speaking-only reaction generation 研究。 - 同分野の定番として multimodal conversation generation、social signal processing、group interaction modeling に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhi-Yi Lin, Thomas Markhorst, Jouh Yeong Chew, Xucong Zhang

分類: cs.CV

原文アブストラクト

Human-like multimodal reaction generation is essential for natural group interactions between humans and embodied AI. However, existing approaches are limited to single-modality or speaking-only responses in dyadic interactions, making them unsuitable for realistic social scenarios. Many also overlook nonverbal cues and complex dynamics of polyadic interactions, both critical for engagement and conversational coherence. In this work, we present PolySLGen, an online framework for Polyadic multimodal Speaking and Listening reaction Generation. Given past conversation and motion from all participants, PolySLGen generates a future speaking or listening reaction for a target participant, including speech, body motion, and speaking state score. To model group interactions effectively, we propose a pose fusion module and a social cue encoder that jointly aggregate motion and social signals from the group. Extensive experiments, along with quantitative and qualitative evaluations, show that PolySLGen produces contextually appropriate and temporally coherent multi-modal reactions, outperforming several adapted and state-of-the-art baselines in motion quality, motion-speech alignment, speaking state prediction, and human-perceived realism.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI