日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ヒューマノイドロボット/ジェスチャ生成arXiv:2606.16600

WaveSync: ヒューマノイドロボットの同期した共話ジェスチャのための制約付き波面最適化

WaveSync: Constrained Wavefront Optimization for Synchronized Co-Speech Gestures in Humanoid Robots

シェア:XThreadsFacebookLINEはてブBluesky

ヒューマノイドロボットが発話と同期した自然なジェスチャを生成するためのハイブリッドフレームワークを提案。LLMで意味的な重要度を推定し、動的運動プリミティブと波面最適化により、ハードウェアの制約を満たしつつジェスチャと音声の同期を実現する。

詳しい要約

1. どんなもの?

- 人型ロボットの co-speech gestures を生成する WaveSync を提案。 - LLM が対話応答を semantic schema に分解し、語ごとの重要度重みを付与。 - 連続的な Semantic Importance Wave を構築。 - Dynamic Movement Primitives で軌道整形。 - Wavefront Optimization で同期と運動学的制約を両立。

2. 先行研究と比べてどこがすごい?

- 仮想 avatar と異なり、人型ロボットの厳しい kinematic/dynamic 制約下で動作。 - 語レベルの同期と hardware-safe な運動計画を結合問題として扱う。 - 3 つの baseline を objective/subjective 評価で上回る。 - 各コンポーネントが表現力・意味整合・運動学的適合に必要と示す。

3. 技術・手法の肝は?

- LLM で dialogue response を structured semantic schemas に分解。 - 語ごとの importance weights を付与し Semantic Importance Wave を構築。 - Dynamic Movement Primitives で軌道を整形し kinematic feasibility を担保。 - Wavefront Optimization で peak-to-peak の gesture-speech 同期を整合。 - gesture-duration compression と forward propagation で残存違反を解消。

4. どうやって有効だと検証した?

- 5 つの dialogue scenarios に基づく実験評価。 - 高い synchronization accuracy を達成。 - 3 つの baseline と比較し objective/subjective 評価で優位。 - 各コンポーネントの必要性を確認。

5. 議論はある?

- 要旨からは不明。 - 想定される論点: 制約違反の残存、汎化性、計算コスト、主観評価の詳細。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Dynamic Movement Primitives、Large Language Model を用いた gesture generation、co-speech gesture synthesis、humanoid robot motion planning を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Thang Tran Viet, Thanh Nguyen Canh, Gia Huy Uong, Phuc Van Dinh, Tan Viet Tuyen Nguyen, Xiem HoangVan, Nak Young Chong

分類: cs.RO

原文アブストラクト

Expressive co-speech gestures are crucial for natural human-robot interaction, but generating them on physical humanoid robots is difficult because gesture strokes must align with speech emphasis while satisfying strict kinematic and dynamic constraints. Unlike virtual avatars, humanoid robots cannot freely execute rapid or overlapping motions, making word-level synchronization and hardware-safe motion planning a coupled problem. We present \textbf{WaveSync}, a hybrid framework in which a Large Language Model decomposes dialogue responses into structured semantic schemas and assigns per-word importance weights, constructing a continuous Semantic Importance Wave. Gesture trajectories are shaped through Dynamic Movement Primitives, enforcing kinematic feasibility while enhancing expressiveness. A Wavefront Optimization stage aligns peak-to-peak gesture-speech synchronization and resolves residual kinematic violations through gesture-duration compression and forward propagation. Experimental evaluation based on five dialogue scenarios shows that our method achieves high synchronization accuracy and outperforms three baselines in both objective and subjective evaluations. Each component in WaveSync plays a necessary role in producing gestures that are expressive, semantically grounded, and kinematically compliant. The code, resources, and videos are available at \href{https://github.com/pairs-lab/WaveSync}{WaveSync}

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI