日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.17436

臨床視覚言語モデルにおける医療文脈が意思決定を歪める

Medical Context Distorts Decisions in Clinical Vision Language Models

シェア:XThreadsFacebookLINEはてブBluesky

胸部X線画像と臨床テキストを用いたタスクで、視覚言語モデルがテキストに過度に依存し、無関係な病歴やプロンプトの変更に影響されやすいことを明らかにした論文。

詳しい要約

1. どんなもの?

- 臨床意思決定支援に用いられる Vision-language models (VLMs) の信頼性を評価した研究。 - 医療記録の視覚情報とテキスト情報を統合する必要がある実世界シナリオに焦点。 - 3つの失敗モードを特定: - 画像よりテキストへの modality over-reliance - 無関係な臨床履歴への spurious reliance - 意味的に等価な入力間での prompt sensitivity - 胸部X線タスクで MIMIC-CXR を用いて評価。

2. 先行研究と比べてどこがすごい?

- 従来の VLM 評価は主に単一モダリティや限定的な臨床文脈で行われてきた。 - 本研究は画像とテキストの整合性、臨床履歴、プロンプト表現を系統的に操作。 - 一般ドメインおよび医療チューニング済みのオープン/クローズド VLM を多様に評価。 - 視覚的証拠があってもテキストが意思決定を支配することを実証。 - 無関係なレポートや軽微なプロンプト変更が予測を反転させることを示した。

3. 技術・手法の肝は?

- MIMIC-CXR の胸部X線タスクを使用。 - 画像とテキストのアラインメント、臨床履歴、プロンプトの定式化を系統的に操作。 - 一般ドメインおよび医療チューニング済みのオープン/クローズド VLM を評価。 - 失敗モードを特定するため、画像ベースの正解予測がテキストやプロンプトでどう変化するかを分析。

4. どうやって有効だと検証した?

- MIMIC-CXR 上で複数の VLM を評価。 - 画像-テキスト整合性、臨床履歴、プロンプト表現を操作して実験。 - テキストが視覚証拠より優先されること、無関係なレポートの影響、プロンプト変更による予測反転を観察。 - これらの結果から臨床応用前の明示的な安全策とストレステストの必要性を強調。

5. 議論はある?

- VLM の臨床意思決定支援への使用には明示的な安全策とストレステストが必要。 - テキスト優位、無関係履歴への依存、プロンプト感度が実臨床でのリスクとなる。 - 限界や具体的な議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- MIMIC-CXR を用いた関連研究。 - 医療用 VLM の評価や信頼性に関する研究。 - 臨床意思決定支援における VLM の失敗モードを扱う研究。 - 具体的な参照論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: David Restrepo, Ira Ktena, Maria Vakalopoulou, Stergios Christodoulidis, Enzo Ferrante

分類: cs.CV, cs.CL

原文アブストラクト

Vision-language models (VLMs) are increasingly proposed for clinical decision support, yet their reliability in real-world scenarios that require integrating both visual and textual context from medical records remains poorly characterized. This paper identifies three failure modes: (1) modality over-reliance on text over images, (2) spurious reliance on irrelevant clinical history, and (3) prompt sensitivity across semantically equivalent inputs. We evaluate a diverse set of general-domain and medically-tuned open and closed VLMs on chest x-ray tasks using MIMIC-CXR. By systematically manipulating image-text alignment, clinical history, and prompt formulations, we found that VLM decisions are dominated by the text modality, even when visual evidence is available. Moreover, we observed that VLMs are heavily influenced by irrelevant reports, while minor prompt changes can reverse correct image-based predictions. Our findings underscore the need for explicit safeguards and stress-testing before considering the use of these models in clinical practice.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI