Vision transformers as a support for prostate cancer detection

Abstract

Dette arbeidet undersøker muligheten for å bruke Vision Transformers for å detektere prostatakreft og segmentere kreft i MR bilder. Vi har laget en tilpasset arkitektur som ga bedre resultater enn toppmoderne modeller implementerte i MONAI-biblioteket. Vi valgte egen implementering for å ha større frihet til å gjøre arkitekturendringer. Den har et "U"-form og en symmetrisk struktur med forskjøvet vindu, selvoppmerksomhet beregning og tilkobling mellom passende koder-dekoder blokker for bedre gjenoppretting av romlig informasjon. I neste steg testet vi flere bilderegistreringsteknikker, deres anvendelighet til forskjellige MRI-kanaler og virkingen av å bruke registrering på sluttresultatet for modellen. Vi fant ut at selv om rigid og affin transformasjon ser mest naturlig ut for en menneskelig observatør, oppnådde B-spline -registreringsmodellen de beste resultatene til tross for at detaljene i skanningene ser forstyrret ut eller til og med skadet. I den siste delen av prosjektet undersøkte vi den multi-objektive optimeringsteknikker, som har et potensiale til å forbedre generaliserbarheten til modellen og unngå overfitting. En arkitektur med denne metoden oppnådde eksepsjonelt gode resultater med stort potensial for fremtidig arbeid.

This work research the possibility of using Vision Transformers for prostate cancer detection and tumor segmentation on MRI scans. In the first part we created an architecture, which outperformed state-of-the-art models implemented in MONAI library. We opted for own implementation to have more freedom in doing architecture changes. It has "U" shape symmetrical structure with shifted window self-attention computation approach and skip connection between appropriate encoder-decoder blocks for better recovering of spatial information. In the next stage we were dealing with image registration techniques, their applicability on mpMRI channels and overall score of the model. We found out, that even though rigid and affine registration look the most natural to human eye observer, b-spline registration model achieved the best results despite that the details in the scans looks disturbed or even damaged. In the last part of the project, we investigated the multi-objective loss optimization technique, which promises to improve the generalizability of the model and avoid overfitting. A model utilizing this method achieved exceptionally good results with great potential for future work.