Tumor segmentation by deep learning

Abstract

Et viktig steg i både kvantitativ bildeanalyse og strålebehandling er inntegningen av kreftsvulstvolumet. Dette er en tidkrevende oppgave, og det er den største kilden til usikkerhet grunnet interobservatørvarabilitet. Hensikten med denne masteroppgaven var å undersøke om kunstig intelligens i form av dyp læring med konvolusjonelle nevrale nettverk kan benyttes for automatisk segmentering av kreftsvulsten basert på MR-bilder fra pasienter med endetarmskreft. Dette kan potensielt spare tid for radiologene/onkologene og bidra til en mer konsekvent inntegning.

T2-vektede og diffusjonsvektede bilder med syv ulike b-verdier mellom 0 s/mm² and 1300 s/mm² fra 81 pasienter fra OxyTarget-studien med pasienter med endetarmskreft ble brukt. Bildedataene ble splittet i et treningssett (51 pasienter), et valideringssett (10 pasienter) og et testsett (20 pasienter), jevnt fordelt med hensyn på kjønn og kreftstadier. Totalt ble det utviklet ni modeller med en U-net arkitektur der type bilder og tapsfunksjonen varierte. De ulike tapsfunksjonene som ble testet var cross entropy tap, Dice tap og en modifisert versjon av Dice tapet. To radiologer hadde tegnet inn omrissene av kreftsvulstene manuelt på bildene, og unionen av disse ble definert som fasit for modellene. Modellene ble evaluert basert på den gjennomsnittlige Dice likhetskoeffisient (DSC) per pasient for pasientene i valideringssettet. Den beste U-net modellen ble så sammenlignet med resultatene fra en grunn maskinlæringsmodell basert på den lineære støttevektorklassifikatoren.

Resultatet for de ulike U-net modellene varierte fra en DSC lik 0.58 til en DSC lik 0.67, og den beste modellen brukte T2-vektede bilder og den modifiserte Dice tapsfunksjonen. Sammenlignet med modellen med den lineære støttevektorklassifikatoren, som resulterte i en DSC lik 0.48, var U-net modellene overlegne. DSC mellom de to manuelle inntegningene ble kalkulert til å være 0.78, og dette indikerer at U-net modellen må forbedres før den kan brukes klinisk.

U-net modellen viser uansett lovende resultater for automatisk segmentering av kreftsvulster. For å utvikle en forbedret modell bør effekten av å bruke bilder med høyere oppløsning, samt å legge til data augmentasjon og bilde beskjæring, undersøkes.

An important step in both quantitative image analysis and radiotherapy treatment planning is the delineation of the tumor volume. This is a time-consuming task, and it is also the greatest source of uncertainty due to interobserver variability. The purpose of this thesis was to explore a deep learning approach with convolutional neural networks for automatic segmentation of tumor volume based on MR images from patients with rectal cancer. This could potentially save time for the radiologists/oncologists and contribute to a more consistent delineation.

T2 weighted and diffusion weighted images with seven different b-values between 0 s/mm² and 1300 s/mm² from 81 patients from the OxyTarget study with rectal cancer patients were used. The image data was split into a training set (51 patients), a validation set (10 patients), and a test set (20 patients), stratified by gender and the tumor stage. A total of nine models with a U-net architecture were created and varied in terms of which image types that were used as input and which loss function that was used. The different loss functions that were tested were the cross entropy loss, the Dice loss, and a modified version of the Dice loss. Two radiologists had performed manual tumor delineations on the images, and the union of these two was used as the ground truth for the models. The models were evaluated based on the average Dice similarity coefficient (DSC) per patient in the validation set. The best U-net model was then compared to the results from a shallow machine learning approach based on the linear support vector classifier.

The performance for the different U-net models ranged from a DSC of 0.58 to a DSC of 0.67, and the best model took T2 weighted images as input and used the modified Dice loss function. Compared to the model with the linear support vector classifier, which resulted in a DSC equal to 0.48, the U-net models were superior. The DSC between the two manual delineations was calculated to 0.78, which indicates that the U-net model needs to be improved before it can be of clinical use.

However, the U-net model shows promising results for the automatic segmentation of the tumor volume. To improve the model performance, the effect of having input images with high resolution, and adding data augmentation and image cropping should be explored.