画像とテキストの両面から学習したマルチモーダルモデルを用い、英語と中国語のいずれにも、ゼロショットで放射線画像に対する報告文生成と疾患分類を行う手法を提示している。

本研究は、胸部X線（CXR）とCTを対象にしたマルチモーダル多言語医療モデル「M3FM」を提案している。このモデルは、まず視覚（画像）とテキストを結びつける「MultiMedCLIP」で多領域・...