日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

医療AIarXiv:2606.07237

大規模言語モデルが医療で失敗するとき:プロンプト変動に対する感度の評価

When Large Language Models Fail in Healthcare: Evaluating Sensitivity to Prompt Variations

シェア:XThreadsFacebookLINEはてブBluesky

医療用大規模言語モデルがプロンプトの微妙な言い換えや構文変更に敏感で、診断や薬剤推奨が変わったり有害な出力を生じることを、MedMCQAベンチマークを用いた系統的解析で明らかにした。

詳しい要約

1. どんなもの?

医療分野でのLLMの安全性を評価する研究。 - 目的: 臨床応用におけるprompt摂動への感度を系統的に分析。 - 対象: 汎用LLM (GPT-3.5, Llama3) と医療特化LLM (ClinicalBERT, BioLlama3, BioBERT)。 - ベンチマーク: MedMCQAを使用。 - 摂動: naturalとadversarialに分類。 - 評価: 一貫性、正確性、信頼性を臨床推論タスクで検証。

2. 先行研究と比べてどこがすごい?

従来のLLM評価は精度中心で、prompt摂動への頑健性を系統的に調べた点が新しい。 - 汎用モデルと医療特化モデルを同一条件下で比較。 - naturalとadversarialの摂動を区別し、臨床的安全性への影響を評価。 - 医療特化モデルでも本質的に安全でないことを示唆。

3. 技術・手法の肝は?

MedMCQAベンチマーク上でprompt摂動を系統的に適用。 - 摂動をnatural (言い換え、語彙置換) とadversarial (構文再配列、誤導的文脈) に分類。 - モデルの一貫性、正確性、信頼性を測定。 - 臨床推論タスクでの出力変化を分析。

4. どうやって有効だと検証した?

MedMCQAベンチマークを用いた実験的評価。 - 複数のLLM (GPT-3.5, Llama3, ClinicalBERT, BioLlama3, BioBERT) を対象。 - 摂動タイプごとの性能変化を定量化。 - 有害出力 (誤った用量、重要所見の欠落) の発生を確認。

5. 議論はある?

医療LLMは本質的に安全ではなく、微妙な言い換えでも臨床助言が変わり得る。 - 単純な語彙置換や言い換えには耐性を示すが、構文再配列や誤導的文脈で破綻。 - adversarial操作は臨床的に危険な出力を引き起こす可能性。 - 高リスク医療現場では予測不能性が信頼性を損なう。

6. 次に読むべき論文は?

要旨で参照/比較されている研究: GPT-3.5, Llama3, ClinicalBERT, BioLlama3, BioBERT, MedMCQA。 - 関連手法: prompt perturbation, adversarial prompts, robustness evaluation。 - 同分野の定番: 医療LLMの安全性評価、臨床推論ベンチマーク。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mahdi Alkaeed

分類: cs.CL, cs.AI, cs.LG

原文アブストラクト

Large Language Models (LLMs) are increasingly used in healthcare for tasks such as clinical question answering, diagnosis support, and report summarization. Despite their promise, these models remain highly sensitive to subtle prompt perturbations, both lexical and syntactic, posing serious risks in safety-critical clinical applications. In this study, we conduct a systematic sensitivity analysis to evaluate the robustness of both general-purpose (e.g., GPT-3.5, Llama3) and medical-specific LLMs (e.g., ClinicalBERT, BioLlama3, BioBERT) using the MedMCQA benchmark. We categorize perturbations into natural and adversarial types and examine their effect on model consistency, accuracy, and reliability in clinical reasoning tasks. Our findings reveal that medical LLMs are not intrinsically safe. Even minor variations in phrasing can alter clinical advice, and targeted adversarial prompts can provoke harmful outputs. In high-stakes settings like healthcare, such unpredictability is unacceptable-models that change diagnoses due to reworded inputs or hallucinate medications when slightly rephrased cannot be reliably trusted by clinicians. While models tend to show resilience to simple lexical substitutions or paraphrasing, they often break down under syntactic reordering or misleading contextual cues. This fragility is evident across both general-purpose and domain-specific LLMs. Notably, adversarial manipulations can lead to clinically dangerous outputs, such as recommending incorrect dosages or omitting critical findings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI