EmojiVoice：ロボット音声における長期的な表現力の制御に向けて

- 社会ロボット向けの自由にカスタマイズ可能なTTSツールキット「EmojiVoice」を提案する研究。 - 長期間の対話で人間が表情豊かさを変化させる点に着目し、時間的に変化する表現力を持つ音声をロボット上で生成する。 - emoji-promptingにより表現力をフェーズ単位で細かく制御し、軽量なMatcha-TTS backboneでリアルタイム生成を行う。 - 3つのケーススタディ(ロボットアシスタントとの台本対話、ストーリーテリングロボット、自律的なspeech-to-speech対話エージェント)で検討する。

- 社会ロボットは従来「表現豊かな」喜びの声で展開されることが多いが、人間の会話に見られる長期的な表現の変化を欠いている点を指摘。 - Foundation model系のtext-to-speechは人間の表現力を模倣し始めているが、ロボットへのオフライン展開が難しいという課題がある。 - EmojiVoiceは無料・カスタマイズ可能で、オフラインかつリアルタイムに時間変化する表現力を持つ音声を生成できる点が異なる。 - 表現力をフェーズレベルで制御するemoji-promptingという新たな制御手段を導入している。

- 無料でカスタマイズ可能なtext-to-speech (TTS)ツールキットとしてEmojiVoiceを構築。 - emoji-promptingを導入し、表現力をフェーズ単位で細かく制御可能にする。 - 軽量なMatcha-TTS backboneを用いてリアルタイムに音声を生成する。 - 時間的に変化する表現力(temporally variable, expressive speech)を社会ロボット上で実現する設計。

- 3つのケーススタディで検証:(1)ロボットアシスタントとの台本対話、(2)ストーリーテリングロボット、(3)自律的なspeech-to-speech対話エージェント。 - ストーリーテリングタスクでは、多様なemoji promptingを用いることで長期間にわたる音声の知覚と表現力が向上した。 - 一方、アシスタントのユースケースでは表現豊かな声は好まれなかった。

- ストーリーテリングでは多様なemoji promptingが長期的な知覚・表現力の改善に寄与したが、アシスタント用途では表現豊かな声が好まれないという用途依存の結果が示された。 - 表現力の制御がタスクや文脈によって適切に使い分けられる必要があることを示唆する。 - その他の議論や限界については要旨からは不明。

- 要旨で参照・比較されているMatcha-TTS backboneやFoundation model text-to-speech systemsに関する研究。 - 関連手法として、表現力制御や長期対話における音声表現を扱うsocial robot向けTTS研究。 - 具体的な論文名は要旨からは不明。