Deep Generative Models for Supporting Prostate Cancer Diagnosis on MR Images

Abstract

In this dissertation, we aimed to advance the field of oncology by applying generative models, in particular Generative Adversarial Networks (GANs), to detect and localize prostate cancer (PCa) using MR imaging. While GANs have shown promising results in medical imaging, there has been a lack of comprehensive benchmarking for their application in PCa detection and localization. First, we developed a tool for cropping regions of interest (ROIs) from MR images of the prostate, which was presented in Paper I as the CROPro tool. This tool was evaluated with conventional Convolutional Neural Networks (CNNs) and Vision Transformers (ViTs) for PCa detection by transfer learning and showed better performance when more prostate-focused ROIs were used for training compared to including surrounding information (e.g. area outside of the prostate). Building on this foundation, we integrated the CROPro tool from Paper I into an automated CAD system for PCa detection. This CAD system integrates automated normalization, segmentation of the prostate, quality control of the segmentation, the CROPro tool, and a GAN model that is post-processed to create 3D detection maps highlighting potential hotspots for PCa. In Paper II, we evaluated unsupervised and weakly supervised GANs within this CAD pipeline for patient-level PCa detection using T2-weighted MR images. Finally, in Paper III, we extended the results from Paper II by applying the most effective GAN model for the detection and localization of clinically significant PCa (csPCa) in biparametric MRI (bpMRI) images. We also proposed a modified architecture that was shown to better stabilize training and further improve the capabilities of the CAD system. Four datasets were used in this dissertation: an in-house dataset from St. Olavs Hospital, Trondheim University Hospital, Trondheim, Norway, and the publicly available datasets PROSTATEx, Prostate158 and the PI-CAI Challenge. The International Society of Urological Pathology (ISUP) score served as the gold standard for categorizing patients into csPCa and indolent-PCa. To evaluate the performance of the model, the area under the receiver operating characteristic curve (AUC) was used in all papers, whereas in paper III performance was measured using the PI-CAI score, a metric that combines the AUC with the average precision of cancer localization. The results showed that GANs can detect and localize PCa on bpMRI. The combination of bpMRI with GANs showed superior performance compared to the use of T2-weighted images alone and offers a promising method to improve the accuracy of PCa diagnosis. This dissertation contributes to the field of oncology by illustrating the successful integration of GANs into CAD systems for PCa detection and localization. By exploring the application of these advanced generative models, this thesis lays the foundation for future research aimed at integrating GANs into CAD systems, potentially overcoming traditional limitations in PCa diagnosis, particularly the challenge of limited annotated data.

Sammendrag Dype generative modeller for å støtte prostatakreftdiagnose på MR-bilder: I denne avhandlingen var målet vårt å utvide feltet onkologi ved å anvende kunstig intelligens i bildeanalyse. Mer spesifikt ønsket vi å benytte Generative Adversarial Networks (GANs) til å oppdage og lokalisere prostatakreft ved hjelp av MR-avbildning. GANs har vist stort potensial innen medisinsk avbildning, men forskning og resultater knyttet til anvendelse av metodene for deteksjon og lokalisering av prostatakreft har vært mangelfullt beskrevet i litteraturen. Med basis i dette undersøkte vi et utvalg av GAN-algoritmer i analyse av T2-vektede MR-bilder (Paper II). Dette arbeidet resulterte i et automatisk rammeverk for deteksjon og lokalisering av prostatakreft. Det foreslåtte rammeverket inkluderer normalisering, segmentering av prostatakjertelen, kvalitetskontroll og beskjæring av MR-bildene ved hjelp av vårt foreslåtte CROPro-verktøy (Paper I). Videre består systemet av en GANmodell samt post-prosessering av GAN-resultatene, som muliggjør visualisering av områder med høy sannsynlighet for prostatakreft i MR-bildene. Vårt siste arbeid (Paper III) bygger på Paper II, hvor den beste GAN-modellen for deteksjon av prostatakreft i T2-vektede MR-bilder ble brukt til å detektere og lokalisere klinisk signifikant prostatakreft (csPCa) på biparametrisk MR (bpMRI). CADrammeverket ble utvidet ved å trekke ut 3D-deteksjonskart, mens en modifisert arkitektur (PCaGAN) av den opprinnelige GAN-modellen fra Paper II ble foreslått. Fire datasett ble brukt i avhandlingen: et internt datasett fra St. Olavs Hospital/NTNU, og tre internasjonale offentlig tilgjengelige datasett (PROSTATEx, Prostate158 og PI-CAI Challenge). ISUP-skåring fra patologiundersøkelsen ble brukt som gullstandard for å kategorisere pasienter med klinisk signifikant eller ikke-signifikant prostatakreft. For å evaluere ytelsen til modellene, ble areal under kurven (AUC) brukt i Paper I og II, mens i Paper III ble både evnen til å detektere og lokalisere prostatakreft evaluert ved bruk av AUC og gjennomsnittlig presisjon av kreftlokalisering. Vårt arbeid har vist at GANs effektivt kan oppdage og lokalisere prostatakreft i MRbilder. Bruk av GANs på biparametrisk MR forbedrer ytelsen sammenlignet med T2- vektede bilder alene. Denne avhandlingen bidrar til feltet onkologi ved å vise muligheten for bruk av GANs i deteksjon og lokalisering av prostatakreft.