Deep Generative Models for MRI Data Synthesis of Patients with Brain Metastases

Abstract

Hensikt: Fremskritt innen generativ kunstig intelligens (KI) kan bidra til å løse problemet med data tilgjengelighet i det medisinske feltet. Medisinske datasett er ofte små, et faktum som begrenser utviklingen og verdien av KI innen feltet. For hver patologi er antallet positive tilfeller begrenset, i tillegg til personvernregler som beskytter og omhandler all pasientdata. Derfor ville det vært hensiktsmessig å generere store datasett som ikke inneholder noe pasient-spesifikk informasjon. Slik kunne medisinsk data lettere blitt delt på tvers av institusjoner, og bli brukt i andre KI-baserte algoritmer for å kunne forbedre dem.

Hensikten med denne masteroppgaven er å bruke generativ KI til å lage syntetiske magnetisk resonans (MR) bilder av pasienter med metastaser i hjernen. Dette vil inkludere generering av både normalt vev og patologi på realistisk vis. Videre ønsker vi å sammenligne disse syntetiske bildene med de originale diagnostiske bildene. Til slutt vil bruken og verdien av syntetiske bilder bli utforsket.

Materialer og metode: Diffusjonsmodeller, en type generativ dyplæringsmodell, ble brukt til å generere syntetiske MR bilder av pasienter med hjernemetastaser. Datasettet som ble brukt til trening ble offentligjort av Stanford University for å bidra til utviklingen av automatiske segmenteringsmodeller for hjernemetastaser. Datasettet består av flere MR sekvenser, i tillegg til annoteringsmasker inntegnet av radiologer. For å sikre at patologi vises i bildene så ble en maske-betinget diffusjonsmodell brukt. Dette innebar å først generere syntetiske annoteringsmasker, som deretter ble brukt til å kontrollere syntesen av MR bildene.

Syntetisk data ble sammenlignet med ekte data ved bruk av både kvantitative og kvalitative evalueringsmål. Fréchet inception distance (FID), inception score (IS) og multi-scale similarity index (MS-SSIM) ble brukt til å kvantitativt evaluere den generative modellen. Det ble nødvendig å kvalitativt evaluere de syntetiske bildene grunnet svakheter i evalueringsmålene for generative modeller. I den kvalitative evalueringen ble radiologer i Helse Møre og Romsdal bedt om å klassifisere bildene som ekte eller syntetisk. 50 bilder ble gitt for klassifiseringen, 25 bilder fra hver kohort i tilfeldig rekkefølge.

For å utforske verdien av syntetisk data innen det medisinske feltet ble de syntetiske dataene brukt til å øke datamengden til en segmenteringsmodell. En 2D U-Net modell ble først trent på bare ekte data. Deretter ble syntetisk data inkludert i treningsdatasettet ved å følge ulike regimer for dataøkning. Effekten dette hadde på modellen ble evaluert ved å måle pixelvis dice score, dice score per lesjon og modellens sensitivitet.

Resultater: Det ble etablert en metode hvor syntetiske annoteringsmasker ble brukt til å kontrollere syntesen av MR bilder. De syntetiske maskene ble brukt for å sikre at patologi var tilstede i bildene, samtidig som de sikret annotert syntetisk data. Både kvantitativt og kvalitativt virket kvaliteten av de syntetiske dataene å være sammenlignbare med de ekte bildene. Det ble funnet en FID verdi på 2.6 mellom syntetisk data og data fra test datasettet, samtidig som den kvalitative analysen resulterte i en klassifiseringsnøyaktighet på 48%. Dette betyr at radiologene slet med å se forskjell på ekte og syntetiske bilder. For segmenteringsmodellen, da datamengden til treningsdatasettet ble økt med syntetisk data, så forbedret modellsensitiviteten seg fra 72.3% til 74.4%. Dice per lesjon ble derimot ikke påvirket på samme måte, noe som kan tyde på at effekten syntetisk data har på segmenteringsevnen er svakere.

Konklusjon: En diffusjonsmodell betinget på annoteringsmasker ble brukt til å generere realistiske MR bilder av pasienter med hjernemetastaser. En segmenteringsmodell ble forbedret ved å øke datamengden med syntetisk data, noe som betyr at syntetisk data kan ha verdi innen feltet for medisinsk avbildning og kreftdiagnostikk.

Purpose: Recent advances in the field of generative artificial intelligence (AI) can mitigate the problem of data availability in the medical field. Medical datasets are often small, a fact that limits the development and value of AI within the field. For each pathology, the number of positive cases is limited, in addition to the privacy rules that protect and concern all patient data. Thus, it would be beneficial to generate large datasets that do not contain any patient-specific information. As such, medical data could be more easily shared between institutions, and be used in other AI-based algorithms in order to improve them.

The aim of this master's thesis is to use generative AI to create synthetic magnetic resonance (MR) images of patients with metastases in the brain. This will include generating both normal tissue and pathology in a realistic manner. Furthermore, we aim to compare these synthetic images to the original diagnostic images. Finally, the usage and value of the synthetic data will be explored.

Method and Materials: Diffusion models, a type of deep learning (DL) based generative model, were used for generating synthetic MRI data of patients with brain metastases. The dataset used for training was made public by Stanford University, in order to contribute to the development of brain metastases segmentation algorithms. The dataset consists of multiple MRI sequences, in addition to annotation masks made by radiologists. To ensure the presence of pathology in the synthetic images, a conditional pipeline was employed. Specifically, synthetic annotation masks were generated, which in turn were used to control the synthesis of the synthetic MRI data.

The synthetic data was compared to the real data using both quantitative and qualitative metrics. The Fréchet inception distance (FID), the inception score (IS), and the multi-scale similarity index (MS-SSIM) were used to quantitatively evaluate the performance of the generative model. A qualitative evaluation was found necessary due to the current limitation in evaluation metrics for generative models. For the qualitative evaluation, radiologists from Helse Møre og Romsdal were asked to classify the images into their respective cohort. Fifty images were given for classification, 25 images from each cohort ordered randomly.

To study the value of synthetic data in the medical field, the synthetic images were used to enhance and expand the training set for advanced segmentation purposes. A 2D U-Net was first trained using only real data. Following this, synthetic images were included in the training data using different data augmentation schemes. The impact on the model performance was investigated measuring pixel-wise dice score, the dice score per lesion, and the model sensitivity.

Results: A mask-conditioning pipeline generating synthetic MR images of patients with brain metastases was established. The conditional inputs ensured the presence of pathology in the synthetic images, as well as providing labels to the synthetic data. Both the quantitative and qualitative analysis suggest that the quality of the synthetic images are comparable to the real dataset. Comparison of the synthetic and test dataset yielded a FID value of 2.6, whilst the qualitative analysis resulted in a classification accuracy of 48%, meaning that the radiologists struggled with differentiating real and synthetic data. In the segmentation experiments, enhancing the training dataset with synthetic data improved the model's sensitivity from 72.3 % to 74.4%. The dice per lesion was not affected accordingly by the use of synthetic data, suggesting that the effect on the segmentation performance is less prominent.

Conclusion: A mask-conditioned diffusion model was used to generate high-fidelity MR images of patients with brain metastases. An improvement in model performance was found when using the synthetic images to enhance the training dataset, suggesting that synthetic data may have value in the field of medical imaging and cancer diagnostics.