ヒューマノイド/ジェスチャー生成2026/9/20arXiv:2609.23414

EmoPose: 視覚言語モデルが導く感情を考慮したヒューマノイドロボットのジェスチャー生成

EmoPose: Vision-Language Model Guided Emotion-Aware Gesture Generation for Humanoid Robots

視覚言語モデルがジェスチャーの種類や強度を選び、ロボット側の動作ライブラリで実行する枠組みを提案し、社会的文脈に応じた表情豊かなジェスチャーを実現した。

詳しい要約

1. どんなもの？

VLM（Vision-Language Model）を用いて感情を考慮したジェスチャーを生成するフレームワーク「EmoPose」を提案。言語・対話履歴・視覚情報からVLMがジェスチャープラン（コミュニケーションクラス、ライブラリバリアント、強度、発話アンカー）を選択し、ロボット側で実行可能な動作に変換する。14-DoFの関節目標を生成し、MuJoCoプレビューや物理ロボット（Unitree G1）での実行を可能にする。

2. 先行研究と比べてどこがすごい？

従来のジェスチャー生成は表現力とロボットの身体性・実行可能性の両立が困難だった。EmoPoseはVLMをセマンティックインターフェースとして用い、ロボット固有の動作ライブラリと分離することで、制御インターフェースを変更せずに新しい社会的文脈に対応可能。また、GPT-5.5による構造化プランニングは直接ラベルプロンプティングより高精度（Easy層98.25%、全体76.50%）。

3. 技術・手法の肝は？

VLMが言語・対話履歴・視覚コンテキストから順序付きジェスチャープランを選択。ロボット所有の動作ライブラリが表現語彙と14-DoF関節目標を定義。Pose Studioが軌道生成、MuJoCoプレビュー、VLMガイドとの自動同期を支援。ロボット側の決定論的モジュールがプラン検証、軌道構築、スケジューリング、キュー管理、中断処理を担当。

4. どうやって有効だと検証した？

EmoPose-Benchで構造化GPT-5.5プランニングがEasy層98.25±0.52%、全体76.50±0.54%を達成し、同一モデルの直接ラベルプロンプティングを上回る。対話コンテキストの利用と順序付きマルチアクション構成を検証。MuJoCoスイートを完了し、物理Unitree G1で29の作成済みバリアントを実現。4地点のラボツアーで中断を伴う表現的ナレーション、カメラ接地対話、ナビゲーションを実証。

5. 議論はある？

要旨からは不明。

6. 次に読むべき論文は？

要旨で参照/比較されている研究は明示されていない。同分野の定番として、VLMを用いたロボットジェスチャー生成（例：PaLM-E、RT-2）、感情認識ジェスチャー生成、Unitree G1を用いた研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Daojie Peng, Bingtao Wang, Fulong Ma, Wenjun Yue, Liang Zhang, Jun Ma

分類: cs.RO

原文アブストラクト

Socially competent humanoid robots must communicate affect and intent through gesture as well as speech, yet open-ended interaction must become motion that is both expressive and executable on a specific body. This demands semantic flexibility for contextual social intent while preserving deterministic, embodiment-aware robot control. We present EmoPose, a vision-language model (VLM)-guided framework that bridges this gap through an executable semantic interface. Given language, dialogue history, and optional visual context, the VLM selects an ordered gesture plan containing a communicative class, library variant, intensity, and speech anchor. A scalable robot-owned motion library defines the available expressive vocabulary and the source of 14-DoF joint targets. Pose Studio supports automatic trajectory generation, MuJoCo preview, and automatic synchronization of new library entries with the VLM guide; deterministic robot-side modules validate plans, construct trajectories, schedule gestures, and manage queueing and interruption. This division lets the interaction repertoire grow for new social contexts without changing the control interface or delegating raw joint commands to the foundation model. On the EmoPose-Bench, structured GPT-5.5 planning reaches $98.25\pm0.52\%$ on the Easy tier and $76.50\pm0.54\%$ overall, exceeding same-model direct-label prompting. Further tests validate dialogue-context use and ordered multi-action composition. The system completes the nominal MuJoCo suite and realizes all 29 authored variants on the physical Unitree G1. A four-stop laboratory tour demonstrates expressive narration with interruption, camera-grounded dialogue, and navigation.

arXivで原文を読む →arXiv概要ページ

← 論文一覧