日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ヒューマノイド/マルチモーダル対話arXiv:2610.06153

話し、描き、演じる:会話型ヒューマノイドロボットのための同期音声と社会的ジェスチャー・デジタル顔の統合

Talk, Render, Act: Integrating Social Gesture and Digital Face with Synchronized Speech for Conversational Humanoid Robot

シェア:XThreadsFacebookLINEはてブBluesky

音声・顔アニメーション・身体ジェスチャーを統合し、意味的に一貫した応答をリアルタイムで生成するエージェント型フレームワークTRABotを提案し、G1ヒューマノイドで実装した。

詳しい要約

1. どんなもの?

本論文は、会話型ヒューマノイドロボットにおいて、発話・顔アニメーション・身体ジェスチャを統合するエージェントベースのフレームワーク「Talk, Render, Act (TRABot)」を提案する。TRABotは、motion-atom construction、dialogue generation、motion planning、facial animationのための専門エージェントで構成される。物理的なG1 humanoid上に、ストリーミング対話音声、音声駆動型顔アニメーション、意味的に計画された身体動作を統合したリアルタイムインタラクションループを実装する。

2. 先行研究と比べてどこがすごい?

従来、全身ヒューマノイドロボットは視覚的に表現力豊かな顔を持たずに発話とジェスチャを生成する一方、talking-face animationとrobot gesture generationは別々に開発されることが多かった。TRABotは、これらを統合し、自然で意味的に有意なジェスチャ、意味順序を保持した身体動作、発話との調整を実現する点で先行研究と異なる。

3. 技術・手法の肝は?

技術の肝は以下の3点。 - Robot-Ready Semantic Motion Atoms: 長尺のG1-retargeted BEAT2モーションを、自然なジェスチャ境界、人間が検証した伝達機能、実行可能な軌道を持つ単位にセグメント化する。 - Semantic-Conditioned Compositional Planner: 順序付けられた意味機能シーケンスと推定応答時間が与えられると、遷移と中立復帰を考慮しつつ、承認されたatomを選択して最長の実行可能行動シーケンスを実現する。 - Streaming Face-Speech-Body Integration system: ストリーミング対話音声、音声駆動型顔アニメーション、意味的に計画された身体動作を統合したリアルタイムインタラクションループを物理G1 humanoid上に展開する。

4. どうやって有効だと検証した?

定量的および定性的実験により、TRABotが比較されたすべての条件の中で、自然さ、表現力、マルチモーダル一貫性の点で総合的に最高の性能を達成したことが示された。

5. 議論はある?

議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている研究として、BEAT2、G1 humanoid、talking-face animation、robot gesture generationが挙げられる。関連手法として、motion retargeting、semantic motion atoms、compositional planning、streaming multimodal integrationなどが次に読むべき論文の候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jin Jiang, Kun Li, Jiancong Ma, Shengcai Liao

分類: cs.RO

原文アブストラクト

Expressive humanoid interaction requires speech, facial animation, and body gestures to form a coherent response. However, many full-body humanoid robots produce speech and gestures without a visually expressive face, while talking-face animation and robot gesture generation are typically developed separately. We present Talk, Render, Act (TRABot), an agent-based framework comprising specialized agents for motion-atom construction, dialogue generation, motion planning, and facial animation. First, to produce natural and semantically meaningful gestures, we construct Robot-Ready Semantic Motion Atoms by segmenting long-form, G1-retargeted BEAT2 motion into units with natural gesture boundaries, human-verified communicative functions, and feasible trajectories. Second, to preserve semantic order and coordinate body motion with the spoken response, we introduce a Semantic-Conditioned Compositional Planner. Given an ordered semantic function sequence and an estimated response duration, the planner selects approved atoms to realize the longest feasible action sequence while accounting for transitions and neutral recovery. Finally, we deploy a Streaming Face-Speech-Body Integration system on a physical G1 humanoid, combining streaming dialogue audio, audio-driven facial animation, and semantically planned body motion in a unified real-time interaction loop. Quantitative and qualitative experiments demonstrate that TRAbot achieves the best overall performance among all compared conditions in terms of naturalness, expressiveness, and multimodal coherence.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI