日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

XR/アクセシビリティarXiv:2604.05605

INTERACT: リアルタイム手話通訳と感情認識を備えたAI駆動の拡張現実フレームワークによるアクセシブルなコミュニケーション

INTERACT: An AI-Driven Extended Reality Framework for Accesible Communication Featuring Real-Time Sign Language Interpretation and Emotion Recognition

シェア:XThreadsFacebookLINEはてブBluesky

聴覚障害者や多言語ユーザー向けに、XR環境で音声認識、手話アバター、多言語翻訳、感情認識を統合したAIプラットフォームを提案し、パイロット評価で高い満足度と精度を示した。

詳しい要約

1. どんなもの?

- AI駆動のXRプラットフォームINTERACTを提案 - リアルタイム音声テキスト化 - 3DアバターによるInternational Sign Language (ISL)表示 - 多言語翻訳 - 感情認識 - 聴覚障害者・難聴者・多言語話者向けのビデオ会議支援 - CORTEX2 framework上に構築、Meta Quest 3で動作

2. 先行研究と比べてどこがすごい?

- 従来のアクセシビリティ対策は高コスト・限定的・物流的障壁 - XR技術で没入型包括的コミュニケーションを実現 - 音声認識・翻訳・感情認識・手話表示を統合 - 具体的な先行研究との比較は要旨からは不明

3. 技術・手法の肝は?

- CORTEX2 frameworkを基盤 - Whisperで音声認識 - NLLBで多言語翻訳 - RoBERTaで感情分類 - Google MediaPipeでジェスチャー抽出 - Meta Quest 3ヘッドセットに展開

4. どうやって有効だと検証した?

- 2段階のパイロット評価 - 第1段階: 学術・産業の技術専門家 - 第2段階: 聴覚障害者コミュニティ - 結果: ユーザー満足度92%、文字起こし精度85%以上、感情検出精度90%、平均体験評価4.6/5.0、90%が再テスト参加に前向き

5. 議論はある?

- 教育・文化・専門的環境でのアクセシビリティ向上の可能性 - 拡張版がOpen Research Europeに掲載 [Tantaroudas et al., 2026a] - 限界や課題についての議論は要旨からは不明

6. 次に読むべき論文は?

- Tantaroudas et al., 2026a (Open Research Europe掲載の拡張版) - CORTEX2 framework - Whisper, NLLB, RoBERTa, Google MediaPipe - 関連手法: 手話認識、感情認識、XRアクセシビリティ

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nikolaos D. Tantaroudas, Andrew J. McCracken, Ilias Karachalios, Evangelos Papatheou

分類: cs.CE, cs.AI, cs.CL, cs.CV, cs.ET

原文アブストラクト

Video conferencing has become central to professional collaboration, yet most platforms offer limited support for deaf, hard-of-hearing, and multilingual users. The World Health Organisation estimates that over 430 million people worldwide require rehabilitation for disabling hearing loss, a figure projected to exceed 700 million by 2050. Conventional accessibility measures remain constrained by high costs, limited availability, and logistical barriers, while Extended Reality (XR) technologies open new possibilities for immersive and inclusive communication. This paper presents INTERACT (Inclusive Networking for Translation and Embodied Real-Time Augmented Communication Tool), an AI-driven XR platform that integrates real-time speech-to-text conversion, International Sign Language (ISL) rendering through 3D avatars, multilingual translation, and emotion recognition within an immersive virtual environment. Built on the CORTEX2 framework and deployed on Meta Quest 3 headsets, INTERACT combines Whisper for speech recognition, NLLB for multilingual translation, RoBERTa for emotion classification, and Google MediaPipe for gesture extraction. Pilot evaluations were conducted in two phases, first with technical experts from academia and industry, and subsequently with members of the deaf community. The trials reported 92% user satisfaction, transcription accuracy above 85%, and 90% emotion-detection precision, with a mean overall experience rating of 4.6 out of 5.0 and 90% of participants willing to take part in further testing. The results highlight strong potential for advancing accessibility across educational, cultural, and professional settings. An extended version of this work, including full pilot data and implementation details, has been published as an Open Research Europe article [Tantaroudas et al., 2026a].

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI