日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

音声認識/テスト生成arXiv:2607.09833

自動音声認識システムの生成的テスト手法

Generative Testing of Automated Speech Recognition Systems

シェア:XThreadsFacebookLINEはてブBluesky

音声認識システムの脆弱性を検出するため、テキスト読み上げモデルの音素潜在空間で補間を行い、自然な音声を保ちつつ誤認識を誘発する入力を生成するブラックボックス攻撃手法を提案した。

詳しい要約

1. どんなもの?

GATASは、ASRシステムのブラックボックス設定での故障誘発入力を生成するテスト手法。音声波形を直接摂動するのではなく、text-to-speechモデルの音素レベルの潜在空間で補間を行い、自然な音声の多様体に留まりながら転写エラーを誘発する。攻撃は、意味的乖離と知覚品質のバランスを取る多目的最適化問題として定式化される。

2. 先行研究と比べてどこがすごい?

従来の敵対的攻撃は波形に直接摂動を加えるため、知覚的な自然さを保つのが難しく、特にブラックボックス設定では困難だった。GATASは潜在空間で操作することで、自然な音声の多様体から外れずにエラーを誘発でき、ホワイトボックス法に匹敵する成功率を達成しつつ、より低い歪みと高い知覚品質を実現する点が優れている。

3. 技術・手法の肝は?

手法の核心は、text-to-speechモデルの音素レベルの潜在表現を補間すること。攻撃は、意味的乖離(転写エラー)と知覚品質のバランスを取る多目的最適化問題として定式化され、勾配情報なしで最適化を行う。これにより、ブラックボックス設定でも自然な音声を保ちながら効果的なテストケースを生成できる。

4. どうやって有効だと検証した?

ホワイトボックスおよびブラックボックスのベースラインと比較した実証評価を実施。GATASは98%の成功率を達成し、より低い歪みと高い知覚品質を示した。さらに、人間による研究で知覚品質が確認された。

5. 議論はある?

要旨からは、GATASが勾配アクセスなしでホワイトボックス法に競合できることから、表現と知覚の整合性がモデル内部へのアクセスよりも重要であると示唆される。しかし、特定のASRモデルやデータセットへの依存性、計算コスト、実世界での適用可能性などについては要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されているwhite-boxおよびblack-boxのベースライン手法、またtext-to-speechモデルや敵対的攻撃に関する関連研究。具体的には、ASRの敵対的攻撃に関する既存研究(例:波形摂動を用いた攻撃)や、潜在空間最適化を用いた生成モデルに関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanis Xabier Wilbrand Peña, Oliver Weißl, Andrea Stocco

分類: cs.CR, cs.LG

原文アブストラクト

Automatic speech recognition (ASR) systems have achieved high accuracy with transformer-based models, enabling deployment in critical applications. However, they remain vulnerable to adversarial manipulation, particularly in black-box settings where attacks must preserve perceptual naturalness. This work introduces GATAS, a black-box testing approach that generates failure inducing inputs by operating in the phoneme-level latent space of a text- to-speech model. Instead of perturbing waveforms directly, the approach interpolates latent representations to induce transcription errors while remaining within the manifold of natural speech. The attack is formulated as a multi-objective optimization problem balancing semantic divergence and perceptual quality. Our empirical evaluation against both white-box and black-box baselines shows that GATAS achieves a 98% success rate while producing lower distortion and higher perceptual quality, as confirmed by human studies. Despite operating without gradient access, GATAS remains competitive against white-box methods, highlighting that representation and perceptual alignment are more critical than access to model internals. Overall, our results demonstrate that untargeted latent-space optimization enables the efficient generation of realistic and effective test cases for ASR systems.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI