日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

身体性会話AI/表情生成arXiv:2609.33095

REALM: 身体性を持つ反応的聴き手のための粗から細への生成フレームワーク

REALM: A Coarse-to-Fine Generative Framework for Embodied Reactive Listening

シェア:XThreadsFacebookLINEはてブBluesky

音声に反応する聴き手の顔動作を生成するため、話者音声と聴き手の動作履歴を遅延を考慮して融合し、粗い動作軌道を確率的な表情残差で精緻化するフレームワークを提案した。

詳しい要約

1. どんなもの?

- 音声駆動の反応的リスニング(listener facial motion)生成フレームワークREALMを提案。 - 身体的会話AI向けに、話者音声に反応する聞き手の顔動作を生成。 - coarse-to-fine構成で、粗い運動軌跡と確率的な表情残差を組み合わせる。 - 遅延を考慮した話者-聞き手融合と、瞬き等の局所変動を扱う。 - Ameca humanoid robotへの実装と知覚ユーザスタディも実施。

2. 先行研究と比べてどこがすごい?

- 従来の音声駆動顔動作生成と比べ、話者cueの時間遅れと聞き手の運動連続性を両立。 - 決定論的予測が難しい局所的表情・瞬きの変動を確率的残差で表現。 - delay-centered attention priorとadaptive gatingで履歴を考慮した時間的整合を実現。 - ViCoとL2Lで複数のmotion-quality metricsにおいて評価ベースラインを上回る。 - 実機ロボットとユーザスタディまで検証範囲を拡張。

3. 技術・手法の肝は?

- Reactive Gated Speaker-Listener Fusion moduleを提案。 - 聞き手の運動履歴と話者音声を、delay-centered attention priorとadaptive gatingで統合。 - coarse decoderが基本運動軌跡を予測。 - 表情部分空間でaudio-conditioned stochastic residualsを加え、粗いpose parametersは保持。 - 遅延感度、gate挙動、瞬き動態の分析も実施。

4. どうやって有効だと検証した?

- ViCoとL2Lデータセットで評価。 - 複数のmotion-quality metricsで評価ベースラインに対する改善を確認。 - delay sensitivity、gate behavior、blink dynamicsの追加分析を実施。 - Ameca humanoid robotへのdeploymentを実施。 - 知覚ユーザスタディにより物理的embodimentへの適用可能性を検証。

5. 議論はある?

- 遅延感度、gate挙動、瞬き動態について分析。 - 生成行動の物理的embodimentへの適用可能性をユーザスタディで議論。 - 具体的な限界や失敗事例、計算コスト、倫理面の議論は要旨からは不明。

6. 次に読むべき論文は?

- ViCo - L2L - Ameca humanoid robot - audio-driven facial motion generation - embodied conversational AI - delay-centered attention - stochastic residual modeling

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peizhen Li, Longbing Cao, Yang Zhang

分類: cs.RO

原文アブストラクト

Generating responsive listener facial motion is an important task for embodied conversational AI. Two modeling challenges are central: accounting for the timing of speaker cues while maintaining continuity with the listener's ongoing motion, and capturing locally variable facial events alongside the overall motion trajectory. Listener responses may follow preceding cues with a temporal lag, while brief expressions and blinks introduce variation that is difficult to predict deterministically. These challenges motivate a framework that combines history-aware temporal alignment with stochastic expression refinement. We propose REALM (Reactive Embodied Audio-driven Listening Model), a coarse-to-fine framework for audio-driven reactive listening. A Reactive Gated Speaker-Listener Fusion module combines listener motion history with speaker audio through a delay-centered attention prior and adaptive gating. A coarse decoder predicts a base motion trajectory, which is augmented by audio-conditioned stochastic residuals in the expression subspace while retaining the coarse pose parameters. Evaluations on ViCo and L2L show improvements over the evaluated baselines across multiple motion-quality metrics. Additional analyses examine delay sensitivity, gate behavior, and blink dynamics. Finally, deployment on an Ameca humanoid robot and a perceptual user study demonstrate the applicability of the generated behavior to physical embodiment. Code: https://github.com/lipzh5/REALM Demo: https://youtu.be/Tf5mpd5S8VQ

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI