Pepperロボットにおける低遅延・LLM駆動型マルチモーダル対話のためのフレームワーク
A Framework for Low-Latency, LLM-driven Multimodal Interaction on the Pepper Robot
Pepperロボット向けに、エンドツーエンドの音声対話モデルと関数呼び出しによるエージェント制御を統合した、低遅延でマルチモーダルな対話を実現するオープンソースのAndroidフレームワークを提案した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Erich Studerus, Vivienne Jia Zhong, Stephan Vonschallen
分類: cs.AI, cs.LG, cs.RO
原文アブストラクト
Despite recent advances in integrating Large Language Models (LLMs) into social robotics, two weaknesses persist. First, existing implementations on platforms like Pepper often rely on cascaded Speech-to-Text (STT)->LLM->Text-to-Speech (TTS) pipelines, resulting in high latency and the loss of paralinguistic information. Second, most implementations fail to fully leverage the LLM's capabilities for multimodal perception and agentic control. We present an open-source Android framework for the Pepper robot that addresses these limitations through two key innovations. First, we integrate end-to-end Speech-to-Speech (S2S) models to achieve low-latency interaction while preserving paralinguistic cues and enabling adaptive intonation. Second, we implement extensive Function Calling capabilities that elevate the LLM to an agentic planner, orchestrating robot actions (navigation, gaze control, tablet interaction) and integrating diverse multimodal feedback (vision, touch, system state). The framework runs on the robot's tablet but can also be built to run on regular Android smartphones or tablets, decoupling development from robot hardware. This work provides the HRI community with a practical, extensible platform for exploring advanced LLM-driven embodied interaction.
関連論文
- 社会的推論から身体化インタラクションへ:ソーシャルロボットのためのエージェントフレームワークソーシャルロボティクス
- ARIS: ソーシャルロボットのためのエージェント型・関係性知能システムソーシャルロボティクス
- Mの紹介:モジュール式で改造可能なソーシャルロボットソーシャルロボティクス
- 基盤モデル時代における倫理的・ユーザー適応型説明可能性を備えたソーシャルロボットの設計ソーシャルロボティクス
- ProAct: 能動的な身体性ソーシャルエージェントのためのデュアルシステムフレームワークソーシャルロボティクス
- Botson: 社会ロボティクス研究のための低コストで利用しやすいプラットフォームソーシャルロボティクス
