日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ソーシャルロボットarXiv:2509.09889

Pepperロボットによる手話コミュニケーション支援

Using the Pepper Robot to Support Sign Language Communication

シェア:XThreadsFacebookLINEはてブBluesky

商用ソーシャルロボットPepperにイタリア手話(LIS)の52種類のサインを実装し、ろう者・聴者12名を対象に認識実験を行った結果、単語単位では多くが正しく認識されたが、文単位ではロボットの関節可動域や時間的制約により認識率が低下した。

詳しい要約

1. どんなもの?

- Pepper ロボットで Italian Sign Language (LIS) の手話を生成できるかを調べた研究 - Deaf 学生と LIS 専門の通訳者の協力で 52 の LIS サインを Pepper 上に実装 - 実装は manual animation と MATLAB ベースの inverse kinematics solver の2手法 - LIS 熟達者12名(Deaf と hearing の両方)による探索的ユーザスタディを実施 - 15問の単一選択式ビデオサイン認識課題と短い手話文に関する2問の自由回答で評価

2. 先行研究と比べてどこがすごい?

- 社会的ロボットの公共・支援場面での実験は増えているが、Deaf ユーザのアクセシビリティは十分に検討されていない - LIS は複雑な manual および non-manual 要素を持つ完全な自然言語であり、ロボットによる生成は未開拓 - 本研究は商用の social robot である Pepper で LIS サイン生成の可能性を初めて体系的に検証 - 病院・空港・教育現場などでの包摂的な human robot interaction への道を開く点が新しい - 要旨からは具体的な先行研究との直接比較は不明

3. 技術・手法の肝は?

- Deaf 学生と LIS 通訳者との共同設計(co-design)でサインを選定・実装 - 52 の LIS サインを Pepper 上に実装 - 実装手法は manual animation と MATLAB ベースの inverse kinematics solver の2種類 - Pepper の関節可動域や時間的制約を考慮した実装が必要 - 評価はビデオベースの単一選択式サイン認識課題と短い手話文の自由回答で構成

4. どうやって有効だと検証した?

- LIS に熟達した12名(Deaf と hearing の両方)を対象とした探索的ユーザスタディ - 15問の単一選択式ビデオサイン認識課題を実施 - 短い手話文に関する2問の自由回答質問を実施 - 結果として孤立したサインの多くは正しく認識された - 一方、完全な文の認識は Pepper の限られた articulation と temporal constraints のため有意に低かった

5. 議論はある?

- 商用 social robot の Pepper でも一部の LIS サインは理解可能に生成できることを示す - ただし文レベルの認識は低く、Pepper の articulation と temporal constraints が制約 - 今後の改善として screen-based support や expressive avatars などの multi-modal enhancements を提案 - Deaf ユーザを participatory design に参加させ、robot expressivity と usability を洗練する必要性を指摘 - 要旨からはサイン認識率の具体的数値や統計的詳細は不明

6. 次に読むべき論文は?

- 要旨で参照されている具体的な先行研究は明示されていない - 関連手法として MATLAB ベースの inverse kinematics solver や manual animation の文献 - 提案されている multi-modal enhancements(screen-based support、expressive avatars)に関する研究 - Deaf ユーザ参加型設計(participatory design)に関する HRI 研究 - 同分野の定番として social robot による sign language generation や accessibility に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Giulia Botta, Marco Botta, Cristina Gena, Alessandro Mazzei, Massimo Donini, Alberto Lillo

分類: cs.RO, cs.HC

原文アブストラクト

Social robots are increasingly experimented in public and assistive settings, but their accessibility for Deaf users remains quite underexplored. Italian Sign Language (LIS) is a fully-fledged natural language that relies on complex manual and non-manual components. Enabling robots to communicate using LIS could foster more inclusive human robot interaction, especially in social environments such as hospitals, airports, or educational settings. This study investigates whether a commercial social robot, Pepper, can produce intelligible LIS signs and short signed LIS sentences. With the help of a Deaf student and his interpreter, an expert in LIS, we co-designed and implemented 52 LIS signs on Pepper using either manual animation techniques or a MATLAB based inverse kinematics solver. We conducted a exploratory user study involving 12 participants proficient in LIS, both Deaf and hearing. Participants completed a questionnaire featuring 15 single-choice video-based sign recognition tasks and 2 open-ended questions on short signed sentences. Results shows that the majority of isolated signs were recognized correctly, although full sentence recognition was significantly lower due to Pepper's limited articulation and temporal constraints. Our findings demonstrate that even commercially available social robots like Pepper can perform a subset of LIS signs intelligibly, offering some opportunities for a more inclusive interaction design. Future developments should address multi-modal enhancements (e.g., screen-based support or expressive avatars) and involve Deaf users in participatory design to refine robot expressivity and usability.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI