日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

音声指示理解arXiv:2506.02057

音声プロソディによるロボット指示理解と曖昧性解消

Enhancing Speech Instruction Understanding and Disambiguation in Robotics via Speech Prosody

シェア:XThreadsFacebookLINEはてブBluesky

音声のプロソディ(抑揚や強調)を直接利用して指示意図を推定し、大規模言語モデルと組み合わせて曖昧な指示を解消する手法を提案。ロボット向けの曖昧音声データセットも構築した。

詳しい要約

1. どんなもの?

- ロボットへの音声指示を、音声認識でテキスト化する際に失われる prosody(韻律)を直接用いて意図推定・曖昧性解消する研究 - 推定した intent を LLM に in-context learning で統合し、適切な task plan を選択させる枠組み - robotics 向けの初の ambiguous speech dataset を提案 - 曖昧な音声指示の意図解消とタスク計画選択を目的とする

2. 先行研究と比べてどこがすごい?

- 従来法は speech recognition で音声をテキスト化し、意図解消に必要な prosodic cues を捨てていた - 本研究はテキスト化を介さず prosody を直接利用して intent を推定する点が新しい - 推定 intent を LLM の in-context learning に統合して task plan 選択に結びつける - robotics 向けの ambiguous speech dataset を初めて提示(要旨による)

3. 技術・手法の肝は?

- 音声の prosody から発話内の referent intent を予測 - 予測 intent を LLM に in-context learning で与え、曖昧指示の意図解消と task plan 選択を行う - 曖昧な音声指示を扱うための新規 dataset を構築 - 詳細なモデル構成・prosody 特徴量・LLM への入力形式は要旨からは不明

4. どうやって有効だと検証した?

- 発話内の referent intent 検出で 95.79% accuracy - 曖昧指示に対する意図された task plan の決定で 71.96% accuracy - 新規に構築した ambiguous speech dataset 上で評価(詳細な実験設定は要旨からは不明)

5. 議論はある?

- prosody を用いることで human-robot communication を大きく改善し得ると主張 - task plan 選択精度 71.96% の限界や誤りの要因、dataset の規模・多様性は要旨からは不明 - 実ロボット環境での検証や他言語・他タスクへの汎化については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として speech recognition ベースの指示理解、LLM の in-context learning による task planning、prosody を用いた意図推定、曖昧性解消の研究を次に読む候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: David Sasu, Kweku Andoh Yamoah, Benedict Quartey, Natalie Schluter

分類: cs.RO, cs.AI, cs.CL, cs.LG

原文アブストラクト

Enabling robots to accurately interpret and execute spoken language instructions is essential for effective human-robot collaboration. Traditional methods rely on speech recognition to transcribe speech into text, often discarding crucial prosodic cues needed for disambiguating intent. We propose a novel approach that directly leverages speech prosody to infer and resolve instruction intent. Predicted intents are integrated into large language models via in-context learning to disambiguate and select appropriate task plans. Additionally, we present the first ambiguous speech dataset for robotics, designed to advance research in speech disambiguation. Our method achieves 95.79% accuracy in detecting referent intents within an utterance and determines the intended task plan of ambiguous instructions with 71.96% accuracy, demonstrating its potential to significantly improve human-robot communication.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI