日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ソーシャルAIarXiv:2606.05896

共鳴する心:心の理論を備えた閉ループソーシャルアバター

Resonant Minds: Closed-Loop Social Avatars with Theory of Mind

シェア:XThreadsFacebookLINEはてブBluesky

認知推論とマルチモーダル生成を統合した閉ループデュアルエージェントフレームワークを提案し、心の理論による社会的推論と感情制御可能な動画生成を組み合わせて、リアルな対話と表情・反応を実現する。

詳しい要約

1. どんなもの?

- 閉ループ型の dual-agent フレームワーク - 知覚・社会的推論・表出を連続的な相互作用サイクルに統合 - 発話者と聞き手の双方向ダイナミクスを扱う - 構成モジュール - perception: 映像から相手のマルチモーダル行動を解析 - social reasoning: Theory of Mind で隠れた心的状態を推論し、ensemble 機構で応答選択 - expression: 感情制御可能な動画を生成し、発話音声と表情、聞き手の反応行動を同時合成 - 評価用データセット - 心理学的に根拠づけた persona と私的な社会的目標を持つ階層的 Persona-Scenario データセットを構築 - 情報非対称下での評価を支援

2. 先行研究と比べてどこがすごい?

- 従来は別タスクとして扱われてきた - LLM は対話に優れるが embodied expression を欠く - diffusion ベースの talking head モデルは視覚的忠実度を達成するが社会的認知を無視 - 本研究の差分 - 知覚・社会的推論・表出を単一の閉ループに統合 - 発話者音声・表情と聞き手反応行動を同時合成し、双方向ダイナミクスを捕捉 - 情報非対称下での評価を可能にするデータセットを構築 - 結果 - 対話品質と動画生成指標の両方で競争力または優位 - 主要な対話品質次元で full-information Script モードを上回る

3. 技術・手法の肝は?

- 閉ループ dual-agent フレームワーク - perception → social reasoning → expression を連続サイクルで回す - perception - 映像から相手のマルチモーダル行動を解析 - social reasoning - Theory of Mind により隠れた心的状態を推論 - ensemble 機構で応答を選択 - expression - 感情制御可能な動画を生成 - 発話者音声と表情、聞き手反応行動を同時合成 - データセット - 心理学的に根拠づけた persona と私的な社会的目標を持つ階層的 Persona-Scenario データセット - 情報非対称下での評価を支援

4. どうやって有効だと検証した?

- 構築した Persona-Scenario データセット上で実験 - 評価軸 - 対話品質 - 動画生成指標 - 結果 - 両指標で競争力または優位 - 主要な対話品質次元で full-information Script モードを上回る - 不確実性下での明示的な心的状態推論が、無制限の情報アクセスより思慮深い対話を引き出しうることを示唆

5. 議論はある?

- 不確実性下での明示的な心的状態推論が、無制限の情報アクセスより思慮深い対話を引き出しうる可能性を示唆 - 情報非対称下での評価を可能にするデータセットを構築 - 詳細な限界・倫理的議論は要旨からは不明

6. 次に読むべき論文は?

- Large Language Models (LLM) を用いた対話研究 - diffusion ベースの talking head モデル - Theory of Mind を用いた社会的推論 - 情報非対称下での対話評価データセット - 閉ループ dual-agent フレームワークの関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianxu Shangguan, Jing Xu, Hang Ye, Xiaoxuan Ma, Yizhou Wang, Jenq-Neng Hwang, Wentao Zhu

分類: cs.CV

原文アブストラクト

Creating lifelike digital humans with genuine social intelligence requires unifying cognitive reasoning and multimodal generation within a coherent framework. Current approaches treat these as separate tasks: Large Language Models excel at dialogue but lack embodied expression, while diffusion-based talking head models achieve visual fidelity but ignore social cognition. To bridge this gap, we propose a closed-loop dual-agent framework integrating perception, social reasoning, and expression into a continuous interaction cycle. The perception module analyzes partners' multimodal behaviors from video, while the social reasoning module infers hidden mental states through Theory of Mind and selects responses via an ensemble mechanism. The expression module then generates emotion-controllable videos that jointly synthesize speaker speech and facial expressions with listener reactive behaviors, capturing bidirectional dynamics absent in prior work. We further construct a hierarchical Persona-Scenario dataset with psychologically grounded personas and private social goals to support evaluation under information asymmetry. Experiments on this dataset demonstrate competitive or superior performance on both dialogue quality and video generation metrics. Notably, our method surpasses even the full-information Script mode on key dialogue quality dimensions, suggesting that explicit mental state inference under uncertainty can elicit more thoughtful dialogue than unrestricted information access. Project page: https://resonantminds.github.io/.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI