日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ソーシャルロボティクスarXiv:2603.21013

Pepperロボットにおける低遅延・LLM駆動型マルチモーダル対話のためのフレームワーク

A Framework for Low-Latency, LLM-driven Multimodal Interaction on the Pepper Robot

シェア:XThreadsFacebookLINEはてブBluesky

Pepperロボット向けに、エンドツーエンドの音声対話モデルと関数呼び出しによるエージェント制御を統合した、低遅延でマルチモーダルな対話を実現するオープンソースのAndroidフレームワークを提案した。

詳しい要約

1. どんなもの?

- Pepper robot上で動作するオープンソースのAndroidフレームワーク - LLM駆動のマルチモーダル対話を低遅延で実現 - エンドツーエンドSpeech-to-Speech (S2S)モデルを統合 - Function CallingによりLLMをエージェント型プランナーとして活用 - ロボットのタブレット上で動作し、通常のAndroid端末でもビルド可能

2. 先行研究と比べてどこがすごい?

- 従来のPepper実装はカスケード型STT→LLM→TTSで高遅延、韻律情報が失われる - 本手法はS2Sモデルで低遅延かつ韻律的手がかりを保持し適応的イントネーションを実現 - 従来はLLMのマルチモーダル知覚・エージェント制御能力を十分活用していなかった - 本手法はFunction Callingを拡充し、LLMをエージェント型プランナーに昇格 - ナビゲーション、視線制御、タブレット操作などを統合し、視覚・触覚・システム状態の多様なフィードバックを活用

3. 技術・手法の肝は?

- エンドツーエンドSpeech-to-Speech (S2S)モデルを統合 - 韻律的手がかりを保持し適応的イントネーションを可能に - 広範なFunction Calling機能を実装 - LLMをエージェント型プランナーとして位置づけ - ロボット行動(ナビゲーション、視線制御、タブレット操作)をオーケストレーション - マルチモーダルフィードバック(視覚、触覚、システム状態)を統合 - Androidフレームワークとして実装、ロボットのタブレット上で動作

4. どうやって有効だと検証した?

- 要旨からは不明 - 具体的な評価実験やユーザスタディの記述はない

5. 議論はある?

- 要旨からは不明 - 限界や議論についての記述はない

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法として、カスケード型STT→LLM→TTSパイプライン、Function Calling、エンドツーエンドS2Sモデルが挙げられる - 同分野の定番として、HRI (Human-Robot Interaction) におけるLLM統合研究、Pepperロボットの社会ロボティクス研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Erich Studerus, Vivienne Jia Zhong, Stephan Vonschallen

分類: cs.AI, cs.LG, cs.RO

原文アブストラクト

Despite recent advances in integrating Large Language Models (LLMs) into social robotics, two weaknesses persist. First, existing implementations on platforms like Pepper often rely on cascaded Speech-to-Text (STT)->LLM->Text-to-Speech (TTS) pipelines, resulting in high latency and the loss of paralinguistic information. Second, most implementations fail to fully leverage the LLM's capabilities for multimodal perception and agentic control. We present an open-source Android framework for the Pepper robot that addresses these limitations through two key innovations. First, we integrate end-to-end Speech-to-Speech (S2S) models to achieve low-latency interaction while preserving paralinguistic cues and enabling adaptive intonation. Second, we implement extensive Function Calling capabilities that elevate the LLM to an agentic planner, orchestrating robot actions (navigation, gaze control, tablet interaction) and integrating diverse multimodal feedback (vision, touch, system state). The framework runs on the robot's tablet but can also be built to run on regular Android smartphones or tablets, decoupling development from robot hardware. This work provides the HRI community with a practical, extensible platform for exploring advanced LLM-driven embodied interaction.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI