日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

HRIarXiv:2606.18747

LLMを用いた人間フィードバックによる反復強化学習で自然で表現豊かなロボットのジェスチャを生成

Generating Natural and Expressive Robot Gestures through Iterative Reinforcement Learning with Human Feedback using LLMs

シェア:XThreadsFacebookLINEはてブBluesky

ヒューマノイドロボットPepperにChatGPTを統合し、自然言語からジェスチャを生成するシステムを構築。さらに、ユーザー評価に基づく反復強化学習(RLHF)を導入して、生成される動作の自然さを改善した。

詳しい要約

1. どんなもの?

- 本論文は、humanoid robot Pepper の co-speech gesture を LLM で生成する手法を扱う。 - ChatGPT を Pepper に統合し、会話出力に合わせた gesture を生成する baseline を構築。 - その baseline の動きは stiff で unnatural と知覚される問題に対し、iterative RLHF で finetune する system を導入。 - ユーザ評価に基づき gesture 生成を反復的に改善し、より expressive, relevant, fluid な動きを目指す。

2. 先行研究と比べてどこがすごい?

- 従来は expert-authored animations に依存し、rigid で dynamic/diverse 環境に不向きだった。 - 機械学習手法は perceived naturalness の捕捉が難しく、degrees of freedom が増えると困難が増大。 - 本研究は LLM による dynamic code generation を runtime gesture synthesis に用い、さらに RLHF で人間フィードバックを反復的に反映する点が新しい。 - 結果として LLM の co-speech generative capabilities を改善し、より expressive, relevant, fluid な動きを実現。

3. 技術・手法の肝は?

- ChatGPT を humanoid robot Pepper に統合し、conversational output に aligned な co-speech gestures を生成。 - baseline の gesture 生成に対し、iterative reinforcement learning with human feedback (RLHF) system を導入。 - ユーザ評価を基に gesture generation を finetune し、iterative user study で Pepper の生成 gesture を比較。 - 環境適応、social norms、physical constraints への準拠を意識した system 設計。

4. どうやって有効だと検証した?

- iterative user study を実施し、Pepper の生成 gesture を比較。 - RLHF により LLM の co-speech generative capabilities が改善し、より expressive, relevant, fluid な movements が得られたと報告。 - 具体的な評価指標や被験者数、統計手法は要旨からは不明。

5. 議論はある?

- baseline の ChatGPT 統合では flexible な gesture 生成が可能だが、stiff で unnatural と知覚される限界がある。 - RLHF により expressiveness, relevance, fluidity が改善することを示す。 - 一方で、より多くの degrees of freedom への対応や、perceived naturalness の評価、social norms や physical constraints との整合に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、humanoid robot Pepper、ChatGPT などの LLM による code generation、reinforcement learning with human feedback (RLHF)、co-speech gesture generation、human-robot interaction (HRI) の定番研究を次に読むべき。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chris Lee, Flora Salim, Benjamin Tag, Francisco Cruz

分類: cs.RO, cs.AI

原文アブストラクト

Expressive gestures are essential for natural and effective communication, complementing speech when verbal cues alone are insufficient (e.g., pointing). For social robots such as the humanoid Pepper, producing natural and expressive movements is critical for improving human-robot interaction (HRI) and long-term acceptance. However, generating gestures remains challenging due to reliance on expert-authored animations, resulting in rigid behaviors that are impractical for dynamic and diverse environments. Alternatively, machine learning approaches often struggle to capture perceived naturalness, becoming increasingly challenging with more degrees of freedom. Consequently, producing expressive robot gestures requires a system that can adapt to the environment while adhering to social norms and physical constraints. Recent advances in large language models (LLMs) enable dynamic code generation, offering new opportunities for runtime gesture synthesis from natural language. In this paper, we integrate ChatGPT into the humanoid robot Pepper to generate co-speech gestures aligned with conversational output. While this baseline enables flexible gesture generation, the resulting motions are often perceived as stiff and unnatural. To address this limitation, we introduce an iterative reinforcement learning with human feedback (RLHF) system that finetunes gesture generation based on user evaluations, leveraging an iterative user study to compare Pepper's generated gestures. Our results show that RLHF improved the LLM's co-speech generative capabilities, producing more expressive, relevant and fluid movements.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI