日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

医療AI/マルチモーダルarXiv:2606.14766

XMedFusion: 自律医療システムのための知識誘導型マルチモーダル知覚・推論フレームワーク

XMedFusion: A Knowledge-Guided Multimodal Perception and Reasoning Framework for Autonomous Medical Systems

シェア:XThreadsFacebookLINEはてブBluesky

放射線科レポート生成を強化するため、視覚エージェントと知識グラフ構築、検索支援ドラフト、合成エージェントを組み合わせたモジュール型AIフレームワークを提案し、胸部X線データセットで既存モデルより高い性能を示した。

詳しい要約

1. どんなもの?

- 自律型医療・ロボティクスシステム向けの知覚・推論モジュール - XMedFusionというモジュール型AIフレームワーク - 胸部X線画像から診断レポートを生成する - 視覚情報を機能コンポーネントに分解し専門家の分析を模倣 - 視覚知覚エージェント、知識グラフ構築エージェント、検索誘導ドラフト作成、統合エージェントから構成 - 信頼性と解釈性の高い診断出力を目指す

2. 先行研究と比べてどこがすごい?

- 既存のend-to-endマルチモーダルモデルは視覚的根拠が弱く、解釈が不安定で微細な所見を見落とす問題があった - XMedFusionは構造化されたマルチエージェント知覚・推論により、これらの問題を改善 - 公開胸部X線データセットでBLEU-1が0.0493から0.3359、ROUGE-Lが0.0863から0.2440、METEORが0.0829から0.1708へと大幅改善 - 意味評価指標のConsistencyは2.38から7.80、Accuracyは2.34から6.93へ向上 - ベースラインのvision-languageモデルを大きく上回る

3. 技術・手法の肝は?

- 視覚情報を協調的な機能コンポーネントに分解 - 視覚知覚エージェントが画像に基づく証拠を抽出 - 知識グラフ構築エージェントが臨床的に関連する所見を構造化 - 検索誘導ドラフト作成プロセスが一貫したレポート構造を保証 - 統合エージェントが推論駆動型検証を通じて視覚的・構造的証拠を反復統合 - これにより信頼性と解釈性の高い診断出力を生成

4. どうやって有効だと検証した?

- 公開胸部X線データセットを用いた実験的評価 - ベースラインのvision-languageモデルと比較 - BLEU-1、ROUGE-L、METEORの改善を確認 - 意味評価指標のConsistencyとAccuracyの大幅向上を確認 - 構造化マルチエージェント知覚・推論の有効性を実証

5. 議論はある?

- 構造化マルチエージェント知覚・推論が知能医療画像システムの堅牢性、透明性、自動化を強化 - 自律型ヘルスケアおよびロボティクス診断ワークフローへの統合を可能にする - 具体的な限界や課題については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 同分野の定番としてvision-languageモデル、end-to-endマルチモーダルモデル、知識グラフ、検索誘導生成、マルチエージェントシステムに関する論文が挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hamza Riaz, Arham Haroon, Maha Baig, Muhammad Dawood Rizwan, Muhammad Naseer Bajwa, Muhammad Moazam Fraz

分類: cs.CV, cs.AI, cs.MA

原文アブストラクト

Autonomous medical and robotic systems increasingly rely on intelligent perception and reasoning capabilities to interpret visual data and support clinical decision making. Radiology report generation represents a critical component of such automated diagnostic workflows, yet existing end-to-end multimodal models often suffer from weak visual grounding, resulting in unreliable interpretations and omission of subtle clinical findings. This paper presents XMedFusion, a modular AI framework designed as an intelligent perception and reasoning module for autonomous medical systems. The proposed framework decomposes visual information into coordinated functional components that emulate expert-driven analysis, including a visual perception agent that extracts image-grounded evidence, a knowledge graph construction agent that structures clinically relevant findings, and a retrieval-guided drafting process that ensures a consistent reporting structure. A synthesis agent iteratively integrates visual and structured evidence through reasoning-driven verification to produce reliable and interpretable diagnostic outputs. Experimental evaluation on a public chest radiograph dataset demonstrates significant improvements over baseline vision-language models, achieving gains from 0.0493 to 0.3359 in BLEU-1, 0.0863 to 0.2440 in ROUGE-L, and 0.0829 to 0.1708 in METEOR, along with substantial improvements in semantic evaluation metrics such as Consistency (2.38 to 7.80) and Accuracy (2.34 to 6.93). The results highlight the effectiveness of structured multi-agent perception and reasoning for enhancing robustness, transparency, and automation in intelligent medical imaging systems, enabling integration into autonomous healthcare and robotic diagnostic workflows.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI